User Tools

Site Tools


vlp:archiving_multiple_folders

ARCHIVIERUNG MEHRERER ORDNER - archive_many

Bei der Archivierung werden die auf der FOXRIDGE im Bereich 'archive_data/vlp' abgelegten Dateien - die qualitativ hochwertigen Scans - auf Magnetband gesichert, was durch einen Roboter im Keller des Fritz-Haber-Institutes geschieht, der vom MPIWG aus steuerbar ist. Nach erfolgter Archivierung werden die Dateien automatisch von der Foxridge gelöscht, die sonst schnell an die Grenzen ihrer Kapazität käme. Lediglich Metadaten verbleiben dort, dabei handelt es sich um Textdateien, die genau Aufschluß über den Ort und die Art der weg-archivierten Dateien geben. Mit einer Dearchivierung können die Dateien/Bilder zurück auf den Server/die Foxridge kopiert werden. Es lassen sich nur komplette Verzeichnisse, d.h. Ordner archivieren oder dearchivieren, keine einzelnen Dateien (daher ist bei nachträglicher Änderung einer Einzeldatei die Dearchivierung und Neuarchivierung des gesamten Ordners erforderlich).

Die Archivierung wird mit dem Terminal-Programm vorgenommen. Die Archivierung mehrerer Ordner gleichzeitig wird über das archivemany-script vorgenommen, ein kleines Programm, das mit Hilfe einer Liste, wo die zu archivierenden Verzeichnisse aufgeführt sind, diese automatisch auf Band schreibt. Wie bei der Einzel-Archivierung auch werden zunächst einmal die Metadaten (index.meta) geschrieben, die alle nötigen Informationen (Ort, Anzahl, Art der archivierten Dateien, bibliografische Angaben) dazu enthalten, dass der Roboter später die gesuchten Dateien wieder finden kann:

1. Metadaten erstellen

Metadaten (bibliographische Angaben, etc.) der zu archivierenden library items als xml aus Filemaker mit 'Ablage: Datensätze exportieren…' in eine Datei exportieren:

  • Name: beliebig, etwa fm_exportfile.xml (extension .xml nicht vergessen!)
  • Typ: fmpdsoresult
  • alle Felder übernehmen

Das Exportfile anschliessend auf die Foxridge nach archive_data/vlp/ kopieren.

2. Makemeta-Script

Terminal starten, anmelden auf der FOXRIDGE als Nutzer 'archive' (s. Archiving and Unarchiving) Script zur Erstellung der index.meta Datei aufrufen:

[pfad zum script -archive-mode pfad zum filemaker export file]

/usr/local/mpiwg/archive/makemeta-vlp -archive-mode /mpiwg/archive/data/vlp/fm_exportfile.xml

Ausgaben des Scripts:

      ''INFO: makemeta-vlp 0.2 (19.9.2005 ROC)
INFO: processing entry 0 ...
INFO: 0 warnings
INFO: 0 errors
DONE: done something successfully!''
 
3. Liste der zu archivierenden Ordner erstellen:

In Filemaker die betreffenden Datensätze aufrufen, dann aus Filemaker mit 'Ablage: Datensätze exportieren' in eine Datei exportieren:

  • Name: beliebig, z.B. list.tab
  • als: Tabulatorgetrennter Text
  • Feldfolge:'reference' übernehmen
4. Liste in reine Textdatei umwandeln

Im Programm Sub-Etha-Edit wird die eben erstellte .tab-Datei aufgerufen und über 'Format: Zeilenende: Konvertiere zu Unix-Zeilenende' sichergestellt, dass sich jede ID in einer neuen Zeile befindet, und dass sich keine Leerzeichen, unsichtbare Zeilenenden o.ä. versteckte Formatierungen in der Liste befinden. Die Liste wird als .txt (z.B. dirlist.txt) gespeichert und nach archive/data/vlp kopiert.

5. Test der Datei ''dirlist.txt''

Im Terminal-Programm wird noch einmal mit dem Befehl 'less' die Richtigkeit der erstellten Liste (dirlist.txt) überprüft: die ID's müssen untereinander gelistet sein, s.u. (so wird sichergestellt, dass das archivemany-script diese Liste verwenden kann): [befehl less pfad zur liste dirlist.txt]

less /mpiwg/archive/data/vlp/dirlist.txt

Ausgabe des Terminals:

 ''archive@foxridge:/ $ less /mpiwg/archive/data/vlp/dirlist.txt
 WARNING: terminal is not fully functional
 lit31295rchive/data/vlp/dirlist.txt  (press RETURN)
 lit31296
 lit31297
 lit31298
 lit31299
 lit31300
 lit31301
 lit31302
 lit31303
 lit31304
 /mpiwg/archive/data/vlp/dirlist.txt (END)'' 

Mit Q wird zur Eingabeaufforderung zurückgekehrt.

5. Archivemany-Script aufrufen

Im Terminal-Programm wird der Archivierungsvorgang gestartet, das Terminal-Programm sollte dazu als 'screen' laufen, um das Abbrechen des Vorgangs zu verhindern. (Doku dazu folgt in Kürze) [pfad zum script pfad zu den ordnern pfad zur liste der zu archivierenden ordner]

/usr/local/mpiwg/archive/archivemany /mpiwg/archive/data/vlp/ /mpiwg/archive/data/vlp/dirlist.txt

Ausgaben des Scripts (Bsp. aus dem Verlauf)

''archiving document 3: lit31297...
INFO: going to remove successfully archived files from disk
START: archiver 0.7.2 (ROC 5.10.2005) at 2006/06/20 14:31:07
INFO: resource '/mpiwg/archive/data/vlp/lit31297' check OK
INFO: 146 files to archive
INFO: written new file /mpiwg/archive/data/vlp/lit31297/index.meta
        ARCH: file '/mpiwg/archive/data/vlp/lit31297/index.meta'
        ARCH: file '/mpiwg/archive/data/vlp/lit31297/index.meta.old'
        ARCH: file '/mpiwg/archive/data/vlp/lit31297/pages/p0167.tif'
        ARCH: file '/mpiwg/archive/data/vlp/lit31297/pages/p0168.tif'
        ARCH: file '/mpiwg/archive/data/vlp/lit31297/pages/p0169.tif'
        ARCH: file '/mpiwg/archive/data/vlp/lit31297/pages/p0170.tif'
         .
         .
         .
        ARCH: OK
INFO: 6 files archived
INFO: 0 warnings
INFO: 0 errors
DONE: 6 files archived at 2006/06/20 15:02:27
	done on Tue Jun 20 15:02:27 MEST 2006''

Der Vorgang kann sehr lange dauern (weit über 30 min.)

:!: ACHTUNG: TERMINAL FENSTER NICHT SCHLIESSEN!

Das Schliessen des Fensters, resp. Beenden des Terminals bricht den Vorgang ab, sofern nicht auf screen umgeschaltet worden ist.

vlp/archiving_multiple_folders.txt · Last modified: 2020/10/10 14:13 by 127.0.0.1