allgemein zu fragen der datenablage auf der foxridge: robert casties, tel. -342 stand: 19.03.07 ====== archivierung (archive_data) ====== bei der archivierung werden die auf der FOXRIDGE im bereich 'archive_data/vlp' abgelegten dateien auf magnetband gesichert und danach vom server geloescht. mit einer dearchivierung koennen sie zurueck auf den server kopiert werden. es lassen sich nur komplette verzeichnisse archivieren. die archivierung wird mit dem terminal programm vorgenommen. ==== 1. metadaten exportieren ==== metadaten (bibliographische angaben, etc.) der zu archivierenden library items als xml aus filemaker mit 'Ablage: Datensaetze exportieren...' in eine datei exportieren: name: beliebig, etwa fm_exportfile.xml (extension .xml nicht vergessen!) typ: fmpdsoresult alle felder uebernehmen das exportfile anschliessend auf die foxridge nach ''archive_data/vlp/'' kopieren ==== 2. index.meta erstellen ==== terminal starten, anmelden auf der FOXRIDGE als nutzer 'archive' (s.u.) script zur erstellung der index.meta datei aufrufen: ''pfad zum script -archive-mode pfad zum filemaker export file'' ggf. weitere argumente einfügen: * ''-debug'' -> show debugging info * ''-dry-run'' -> simulate, dont'do anything * ''-replace'' -> replace existing index files * ''-online-mode'' -> mode for creating online/permanent files * ''-archive-mode'' -> mode for creating archive/data files * ''-access=free'' -> adds free access tag for online-mode **''/usr/local/mpiwg/archive/makemeta-vlp -archive-mode /mpiwg/archive/data/vlp/fm_exportfile.xml''** ausgaben des scripts: ''INFO: makemeta-vlp 0.2 (19.9.2005 ROC)'' ''INFO: processing entry 0 ...'' ''INFO: 0 warnings'' ''INFO: 0 errors'' ''DONE: done something successfully!'' ==== 3. archiver script ==== danach archivierungsprogramm aufrufen eingabe ** pfad zum script, optional: ''-//argument//'', pfad zum ordner ** -argumente: * ''-debug'' -> show debugging info * ''-premigrate'' -> don't delete archived files * ''-force'' -> archive even if already archived * ''-replace'' -> rewrite index file z.B. **''/usr/local/mpiwg/archive/archiver -debug /mpiwg/archive/data/vlp/lit29464/''** ausgaben des scripts: ''INFO: going to remove successfully archived files from disk'' ''START: archiver 0.7.2 (ROC 5.10.2005) at 2005/11/18 17:55:22'' ''DEBUG: checking index file: DONE: index file checked successfully!'' ''INFO: resource '/mpiwg/archive/data/vlp/lit29464' check OK'' ''DEBUG: index file: /mpiwg/archive/data/vlp/lit29464/index.meta'' ''DEBUG: root element: 'resource''' ''DEBUG: FILE (pages)a0001.tif'' ''DEBUG: FILE (pages)a0002.tif'' ''DEBUG: FILE (pages)a0003.tif'' ''...'' ''DEBUG: FILE (pages)p1028s0002.tif'' ''DEBUG: FILE (pages)z0001.tif'' ''INFO: 1115 files to archive'' ''DEBUG: enter /mpiwg/archive/data/vlp/lit29464/pages'' ''DEBUG: removed .DS_Store'' ''DEBUG: removed directory .HSResource'' ''DEBUG: removed .HSancillary'' ''DEBUG: removed .HSancillary'' ''DEBUG: removed .DS_Store'' ''DEBUG: removed directory .HSResource'' ''INFO: written new file /mpiwg/archive/data/vlp/lit29464/index.meta'' ''ARCH: file '/mpiwg/archive/data/vlp/lit29464/index.meta.old''' ''ARCH: file '/mpiwg/archive/data/vlp/lit29464/index.meta''' ''...'' der vorgang kann sehr lange dauern (weit ueber 30 min.) ACHTUNG: TERMINAL FENSTER NICHT SCHLIESSEN! das schliessen des fensters, resp. beenden des terminals bricht den vorgang ab. ====== dearchivierung (archive_data) ====== die auf der foxridge im bereich '''archive_data/vlp''' abgelegten dateien werden regelmaessig auf magnetband gesichert und danach vom server geloescht. mit einer dearchivierung koennen sie zurueck auf den server kopiert werden. die daten auf band werden dabei nicht veraendert oder geloescht. es lassen sich nur komplette verzeichnisse dearchivieren. die dearchivierung wird mit dem terminal programm vorgenommen. terminal starten einloggen auf der foxridge als benutzer 'archive' **''ssh -l archive foxridge2''** frage nach der passphrase [auf dem lokalen rechner muss vorher ein [[ssh-keyphrase|identifizierungsschluessel installiert]] identifizierungsschluessel installiert werden; bitte an Robert Casties, tel. -342 wenden] ''**Enter passphrase for key '/Users/user/.ssh/id_dsa':**'' unarchiver script aufrufen [pfad zum script, optional: -debug (gibt mehr meldungen aus), pfad zum ordner] ''**/usr/local/mpiwg/archive/unarchiver -debug /mpiwg/archive/data/vlp/lit12345**'' ACHTUNG: script nicht vom zu archivierenden ordner aus aufrufen! script startet und gibt meldungen aus INFO: unarchiver 0.3.1 (21.6.2005) INFO: archive "/mpiwg/archive/data/vlp/lit12345" check OK INFO: archive storage date: 2005/07/13 16:26:21 INFO: .archived file exists. INFO: 1857 files to retrieve. INFO: looking for archives in /mpiwg/archive... der vorgang kann sehr lange dauern (weit ueber 30 min.) ACHTUNG: TERMINAL FENSTER NICHT SCHLIESSEN! das schliessen des fensters, resp. beenden des terminals bricht den vorgang ab. HINWEIS: dateien muessen nach der verwendung wieder vom server geloescht [''**rm -rf pfad_zum_ordner**'' (vorsicht: besser den pfad vorher mit **''ls pfad_zum_ordner''** testen)] resp. geaenderte versionen neu archiviert werden (archive script mit option **''-replace''**). Beim Dearchivieren sollte auch der info-Ordner beachtet werden, er enthält wichtige und aufschlussreiche Informationen über die Raw-Dateien (Auflösung, Kommentare zu den Scans...)