Speicherbereiche

Der Archivspeicher ist pro Institution im Verbund der drei Deutschen Zentralen Fachbibliotheken in getrennte Speicherbereiche unterteilt, in dem die Objekte und die dazugehörigen Metadaten abgelegt werden. Jede Institution hat nur Zugriff auf ihre eigenen Objekte.

Innerhalb dieser Speicherbereiche gibt es verschiedene Sektionen für die unterschiedlichen Status im Objektlebenszyklus 

• Transferspeicherbereich mit den Untersektionen Upload und Ingest:
  • Upload: In dieses Verzeichnis werden Objekte hochgeladen, die für den Ingest bereit sind. Es ist das Quellverzeichnis für die Submission Application.
  • Ingest: Dieses Verzeichnis ist das Zielverzeichnis für von der Submission Application erzeugte Rosetta-konforme SIPs.
• Depositspeicherbereich: In dieses Verzeichnis werden die SIPs aus dem Ingestverzeichnis kopiert und mit den Metadaten aus dem Ingestprozess angereichert. Jedes SIP ist mit einer eindeutigen ID benannt.
• Operativer Speicherbereich: In dieses Verzeichnis werden geingestete SIPs aus dem Depositspeicherbereich kopiert, die mit einem manuellen Workflow geingested wurden und weiter bearbeitet werden; zum Beispiel werden Nutzungskopien hinzugefügt. Auch die SIPs, die in den technischen Analysebereich umgeleitet wurden, sind hier abgelegt.
• Permanenter Archivspeicher mit den Untersektionen File, IE und Metadata: Die TIB nutzt das Konzept des logischen AIPs und speichert die Files, die METS und die Katalogmetadaten physisch getrennt. Vor Bearbeitungen wird eine Kopie des AIP erzeugt und in den operativen Speicherbereich verschoben. Werden die Änderungen bestätigt, wird das AIP versioniert und die neue Version neben dem Original-AIP abgelegt.
  • File: Dieser Bereich enthält alle Dateien einer Version eines AIPs.
  • IE: Dieser Bereich enthält pro Version eines AIP eine METS-Datei. Die METS-Dateien enthalten Verweise auf die Dateien und die XML-Datei mit den Katalogmetadaten, die zum jeweiligen AIP gehören.
  • Metadaten: Dieser Bereich enthält für jeden Identifier eine XML-Datei mit den Katalogmetadaten.

In Rosetta konfigurierte Speicherregeln definieren, welche Objekte wo gespeichert werden. Die Speicherregeln sind anpassbar und in einer Konsortialkonfigurationsbeschreibung dokumentiert, die einmal im Jahr von den Partnerbibliotheken verabschiedet wird.

Erhalt der Vollständigkeit und Unversehrtheit der Archivpakete

Speichermedien

Für den Archivspeicher des digitalen Langzeitarchivs stehen zwei voneinander unabhängige NAS-Systeme zur Verfügung, die mit ZFS-Dateisystemen verwaltet und als RAID-Z3-Systeme (Triple-Parity) betrieben werden. Das NAS-System im Rechenzentrum der TIB ist ein Hochverfügbarkeits-Cluster (HA-Cluster) (NAS1). Der Replikationsserver (NAS 2) im LUIS ist ein Einzelsystem.

Jedes RAID-Z3-System beinhaltet mehrere logische Festplattenverbünde, die jeweils aus mehreren physischen Laufwerken bestehen. NAS 1 ist das Produktivsystem, NAS 2 dient zur Notfallwiederherstellung. Der aktuell vorhandene Speicher ist bis zu 3,8 PB (brutto) erweiterbar. ZFS unterstützt die Sicherung der Datenintegrität durch integrierte Prüfsummenverfahren und die Selbstheilungsfunktionen des RAID-Z3-Systems. ZFS arbeitet mit Copy on Write (COW), sodass das Dateisystem auch nach Stromausfällen und Systemabstürzen konsistent bleibt. Diese Funktion ist besonders wichtig bei der Datenspiegelung von NAS 1 auf NAS 2 (siehe Redundanz).

RAID-Z3 ist ein Festplatten-Verbund mit dreifacher Parität.

Redundanz

Die Blöcke werden im RAID-Z3-Verbund verteilt und in bestimmten Grenzen wiederherstellbar gespeichert.

Täglich wird mit ZFS Send und ZFS Receive zu einem festgelegten Zeitpunkt ein inkrementeller Snapshot auf das zweite NAS-System repliziert. Prüfsummen stellen die Konsistenz der Daten bei der Übertragung sicher.

Monitoring und Refreshing

Die NAS-Systeme sind voneinander geografisch getrennt in separaten, abgeschlossenen Server-Racks im Rechenzentrum der TIB (NAS1) und im Reichenzentrum der Leibniz Universität IT-Services (LUIS) (NAS 2) aufgestellt.

Die Server-Racks verfügen über eine Temperaturüberwachung und eine Gas-Löschanlage pro Rack. Es gibt für jedes Storage-System eine Monitoring-Softwarecheckmk sowie NAS-eigene Funktionen, mit der die Speicherkapazität, der Zustand der Festplatten und Jobs wie die Replikation automatisch überwacht werden können. Beim Ausfall oder Defekt einer Festplatte löst das System automatisch eine Meldung an den Administrator aus.

Der Zugang zum Rechenzentrum ist mit einem elektronischen Zugangssystem sowie einer Einbruchmeldeanlage gesichert und auf wenige Mitarbeitende beschränkt. Das Rechenzentrum verfügt über eine Brand- und Rauchmeldeanlage und eine unabhängige Notstromversorgung, die bei Stromausfall das ordnungsgemäße Herunterfahren der Server ermöglicht.

Medienmigration

Die TIB hat einen Service-Vertrag mit einem Dienstleister für den Austausch von defekter Hardware. Die Monitoring-Software benachrichtigt automatisch den Dienstleister, wenn defekte Hardware ausgetauscht werden muss. Der Dienstleister liefert daraufhin Ersatzhardware, die im laufenden Betrieb von der EDV ausgetauscht wird. Die ZFS-Funktion Resilvering stellt die Datenintegrität nach einem Hardwareausfall wieder her.

Integritätssicherung

Pro Block wird eine Prüfsumme erzeugt und gespeichert. Bei jedem Lesezugriff und bei jedem Datentransfer wird eine Prüfsumme erzeugt und mit der gespeicherten Prüfsumme verglichen. Stimmen die Prüfsummen nicht überein, wird der beschädigte Block aus der verteilten Speicherung im RAID-Z3-System wiederhergestellt und die Administratorin oder der Administrator wird informiert.

Stimmen die Prüfsummen bei der Replikation von einem auf das anderen NAS-System nicht überein, wird die Übertragung abgebrochen und der Systemadminstration gemeldet.

Bei Bedarf kann mittels eines Prüfsummenabgleichs (ZFS-Scrubbing) für alle Blöcke auf dem Dateiserver die Datenintegrität des kompletten Storage-Systems überprüft werden. Diese Prüfung erfolgt automatisch alle 90 Tage.

Täglich wird pro NAS-System ein Snapshot erstellt, zusätzlich wird vor Wartungsarbeiten ein Snapshot der betroffenen Speicherbereiche erstellt. Änderungen an einem  Rosettaspeicherbereichkönnen so 30 Tage rückwirkend eingesehen, nachvollzogen und im Notfall wieder eingespielt werden, Änderungen in der Datenablage zur Datenaufbereitung 7 Tage.

Wiederherstellung

Die Selbstheilungsfunktion des gewählten ZFS-Systems kann Ausfälle in der Größenordnung von bis zu drei Festplatten eines ZFS-Pools kompensieren. Wiederherstellungen eines Festplattenpools sind in der Monitoring-Software einsehbar.

Kann das RAID-Z3-System die Wiederherstellung nicht mehr selbst durchführen, wird durch den Administrator der Systemtechnik eine Notfallwiederherstellung vom Replikationspartner durchgeführt. Sollte das NAS 1 irreparablen Schaden genommen haben, können die Dateien inklusive des Dateisystems von NAS 2 vollständig auf ein anderes System repliziert werden und dieses oder NAS 2 dann die Funktion des Produktivsystems übernehmen. Prüfsummen stellen die Konsistenz der Daten bei der Übertragung sicher. Administrator:innen der Systemtechnik müssen diesen Prozess initiieren und überwachen.