4 Mit Fixity-Prüfungen weisen digitale Archive nach, dass sich Inhalte nicht verändert haben. Eine bei der Aufnahme einer Datei berechnete Prüfsumme wird mit einer später berechneten verglichen; stimmen sie überein, ist die Datei intakt. Bei wenigen Terabytes ist das einfach. Im Petabyte-Bereich, mit Hunderten Millionen oder Milliarden von Dateien in mehreren Kopien, werden Fixity-Prüfungen zu einem der größten Workloads eines Archivs. Jedes Byte zu lesen kostet Zeit, verbraucht Bandbreite und konkurriert mit Aufnahme und Zugriff – und die Ergebnisse müssen festgehalten und bearbeitet werden. Dieser Artikel erklärt, wie Archive Fixity-Prüfungen im großen Maßstab durchführen: die Rechnung zum Durchsatz, Strategien für die Planung, die Rolle der Integritätsprüfung auf Speicherebene, Stichproben und den Umgang mit Fehlern. Den übergreifenden Kontext der Langzeitarchivierung bietet unsere Übersicht zum Speicher für die digitale Langzeitarchivierung. Was Fixity-Prüfungen umfassen Ein Fixity-Programm umfasst typischerweise: Prüfsumme bei der Aufnahme: für jede Datei eine Prüfsumme mit einem Algorithmus wie SHA-256 oder MD5 berechnen und in den Erhaltungsmetadaten speichern. Regelmäßige Überprüfung: jede Datei erneut lesen, eine neue Prüfsumme berechnen und mit dem gespeicherten Wert vergleichen. Überprüfung bei Bewegung: Fixity nach Übertragungen, Migrationen und Medienerneuerung prüfen. Ergebnisse festhalten: jede Prüfung mit Datum, Ergebnis und Speicherort der Kopie als Nachweis für Audits protokollieren. Reparatur: Schlägt eine Prüfung fehl, die beschädigte Kopie durch eine geprüfte, intakte ersetzen. Beim Schritt der Überprüfung wird die Größenordnung zur Herausforderung. Die Rechnung zum Durchsatz Fixity-Prüfungen im großen Maßstab sind ein Leseproblem. Um eine Datei zu prüfen, muss sie vollständig gelesen werden. Nehmen wir ein Archiv mit 10 PB pro Kopie: Bei einer aggregierten Prüfrate von 1 GB pro Sekunde dauert das Lesen von 10 PB etwa 10 Millionen Sekunden, rund 116 Tage. Bei 5 GB pro Sekunde dauert es etwa 23 Tage. Bei drei Kopien, die jeweils unabhängig geprüft werden, verdreifacht sich der Aufwand. Auch die Berechnung der Prüfsummen kostet CPU, besonders bei stärkeren Algorithmen. Und die Überprüfung konkurriert mit Aufnahme, Zugriff und Erhaltungsmaßnahmen um dieselben Speicher- und Netzwerkressourcen. Die Lehre daraus: Fixity-Zeitpläne müssen auf realistischem Durchsatz beruhen, nicht auf Wunschfrequenzen. Eine Richtlinie wie „alles monatlich prüfen“ ist bedeutungslos, wenn die Infrastruktur das Archiv nur alle vier Monate einmal lesen kann. Strategien für den großen Maßstab Die Frequenz nach Risiko festlegen Nicht alle Inhalte brauchen dieselbe Prüffrequenz. Neu aufgenommene Inhalte, Inhalte auf älteren Medien, kürzlich migrierte Inhalte und besonders wertvolle Bestände können häufiger geprüft werden. Stabile Inhalte auf intaktem Speicher können seltener geprüft werden. Viele Archive streben an, jedes Objekt in jeder Kopie mindestens einmal im Jahr zu prüfen, Inhalte mit höherem Risiko häufiger. Die Überprüfung kontinuierlich verteilen Statt großer Prüfkampagnen laufen Fixity-Prüfungen kontinuierlich im Hintergrund mit kontrollierter Rate, sodass das gesamte Archiv im Zielzyklus abgedeckt wird – ohne Spitzen, die andere Arbeiten stören. Nahe an den Daten prüfen Jedes Byte über das Netzwerk zu einem zentralen Prüfserver zu bewegen ist langsam und teuer. Wird die Prüfsumme nahe am Speicher berechnet, auf Speicherknoten oder Servern im selben Rechenzentrum, sinkt die Netzwerklast. Manche Speicherplattformen können Prüfsummen intern berechnen und melden. Integritätsprüfung auf Speicherebene nutzen Moderne Objektspeicher-Plattformen speichern in der Regel Prüfsummen für jedes Objekt oder Fragment und führen im Hintergrund ein Scrubbing durch, das stille Beschädigungen erkennt und aus redundanten Daten automatisch repariert. Das ersetzt nicht die eigenen Fixity-Prüfungen des Archivs, die die End-to-End-Integrität gegen die bei der Aufnahme festgehaltenen Prüfsummen bestätigen. Es verringert aber stark die Wahrscheinlichkeit, dass Prüfungen auf Erhaltungsebene Probleme finden, und bietet eine zusätzliche Schutzebene. Stichproben und gestufte Überprüfung Manche Archive kombinieren eine vollständige Überprüfung in einem längeren Zyklus mit häufigen statistischen Stichproben und prüfen regelmäßig eine zufällige Auswahl von Objekten, um systemische Probleme früh zu erkennen. Stichproben ersetzen keine vollständige Abdeckung, warnen aber schneller vor Problemen, die viele Dateien betreffen. Alle Kopien prüfen – unterschiedlich Jede Kopie sollte geprüft werden, aber nicht unbedingt in derselben Frequenz. Eine Online-Kopie kann kontinuierlich geprüft werden, eine Offline-Bandkopie in einem längeren Zyklus oder bei der Migration der Bänder. Prüfsummenalgorithmen wählen MD5 ist in der Langzeitarchivierung weiterhin verbreitet, weil es schnell und gut unterstützt ist, und zum Erkennen versehentlicher Beschädigungen bleibt es wirksam. SHA-256 und andere stärkere Algorithmen werden bevorzugt, wo der Schutz vor absichtlicher Manipulation wichtig ist, und zunehmend als primäre oder sekundäre Prüfsumme genutzt. Manche Archive halten bei der Aufnahme mehr als einen Algorithmus fest. Ein späterer Wechsel des Algorithmus erfordert, jede Datei erneut zu lesen – wählen Sie daher sorgfältig. Schnellere moderne Algorithmen können bei sehr großen Archiven die CPU-Kosten senken. Die Paketierung beeinflusst Fixity Wie Inhalte paketiert werden, wirkt sich stark auf den Fixity-Aufwand aus: Viele kleine Dateien erhöhen den Aufwand pro Datei beim Lesen, Berechnen der Prüfsumme und Protokollieren. Große Containerdateien verringern den Aufwand pro Datei, bedeuten aber, dass ein einziges beschädigtes Byte die Reparatur des gesamten Pakets erfordern kann. Manifestbasierte Pakete wie BagIt halten Prüfsummen für jede Datei in einem Paket fest und ermöglichen die Überprüfung auf beiden Ebenen. Berücksichtigen Sie Fixity, wenn Sie Paketierung und Speicher gemeinsam planen. Umgang mit Fehlern Wenn eine Fixity-Prüfung fehlschlägt: Bestätigen Sie den Fehler durch erneutes Lesen der Datei, da vorübergehende Lesefehler Fehlalarme auslösen können. Prüfen Sie andere Kopien, um eine geprüfte, intakte Version zu finden. Reparieren Sie die beschädigte Kopie aus einer intakten und prüfen Sie die Reparatur. Untersuchen Sie die Ursache, etwa ein ausfallendes Laufwerk, einen defekten Controller oder einen Softwarefehler, und prüfen Sie, ob weitere Dateien betroffen sind. Dokumentieren Sie den Vorfall und die Reparatur in den Erhaltungsmetadaten. Fehlermuster, etwa mehrere Fehler im selben Speicherpool, können Hardware- oder Softwareprobleme offenlegen, die über einzelne Reparaturen hinaus Aufmerksamkeit erfordern. Festhalten und Berichten Fixity-Ergebnisse sind Nachweise. Prüfer und Zertifizierungsverfahren suchen nach Aufzeichnungen, die belegen, dass jedes Objekt regelmäßig geprüft und Fehler behandelt wurden. Speichern Sie die Ergebnisse in der Datenbank des Erhaltungssystems, berichten Sie Abdeckung und Fehlerraten und bewahren Sie historische Logs auf. Dashboards, die den Anteil des im Zielzyklus geprüften Archivs zeigen, helfen der Leitung zu erkennen, ob das Programm Schritt hält. Ein Planungsbeispiel Stellen Sie sich ein Archiv mit 6 PB pro Kopie in drei Kopien vor: zwei Online-Kopien auf Objektspeicher an verschiedenen Standorten und eine Bandkopie. Die Online-Plattformen halten jeweils etwa 3 GB pro Sekunde an Prüf-Lesevorgängen, ohne Aufnahme und Zugriff zu beeinträchtigen. 6 PB bei 3 GB pro Sekunde zu lesen dauert etwa 23 Tage, sodass jede Online-Kopie grundsätzlich etwa monatlich vollständig geprüft werden könnte. In der Praxis prüft das Archiv mit einer niedrigeren Hintergrundrate, schließt jedes Quartal einen vollständigen Zyklus ab und prüft neu aufgenommene Inhalte in ihrer ersten Woche. Die Bandkopie wird in einem Zyklus von zwei bis drei Jahren im Einklang mit den Bandmigrationen geprüft, zuzüglich einer kleinen Zufallsstichprobe jeden Monat. Wöchentlich läuft auf jeder Online-Kopie eine statistische Stichprobe von 0,1 Prozent der Objekte, um systemische Probleme früh zu erkennen. Diese Kombination liefert vierteljährlich eine vollständige Online-Abdeckung, frühe Erkennung und eine vollständige Abdeckung jeder Kopie im Rahmen der Archivrichtlinie. Fixity bei Inhalten in Bewegung Viele Integritätsfehler entstehen nicht im Ruhezustand, sondern bei Bewegungen: bei der Aufnahme von Produzenten, bei Übertragungen zwischen Standorten, bei Migrationen und bei der Auslieferung an Benutzer. Fixity an jeder Übergabe zu prüfen, durch Vergleich der Prüfsummen vor und nach der Bewegung, erkennt Probleme dort, wo sie entstehen und am leichtesten zu beheben sind. Transfer-Tools und Erhaltungssysteme, die bei Bewegungen automatisch prüfen, entlasten die regelmäßigen Prüfungen. Infrastruktur für Fixity im großen Maßstab Speicher mit hohem aggregiertem Lesedurchsatz, der mit der Kapazität skaliert. Netzwerkkapazität zwischen Speicher und Prüfprozessen. Rechenleistung für die Prüfsummenberechnung, idealerweise nahe an den Daten. Planungssoftware, die die Überprüfung verteilt und nach Risiko priorisiert. Scrubbing auf Speicherebene, um Beschädigungen früh zu erkennen. Scale-out-Objektspeicher eignet sich dafür gut: Wächst die Kapazität durch Hinzufügen von Knoten, wächst auch der Lesedurchsatz, und die Prüfzyklen bleiben stabil. Checkliste: Fixity-Prüfungen im großen Maßstab Bei der Aufnahme für jede Datei Prüfsummen berechnen und speichern. Berechnen, wie lange ein vollständiger Prüfzyklus beim realen Durchsatz dauert. Die Prüffrequenz nach Risiko festlegen, mindestens mit vollständiger jährlicher Abdeckung. Kontinuierlich und nahe an den Daten prüfen. Speicherplattformen mit Integritätsprüfung im Hintergrund nutzen. Statistische Stichproben zur Frühwarnung ergänzen. Jede Kopie, einschließlich Offline-Kopien, in festgelegten Zyklen prüfen. Bestätigung, Reparatur und Dokumentation von Fehlern automatisieren. Abdeckung und Fehlerraten für Audits berichten. Zusammenfassung Fixity-Prüfungen im großen Maßstab sind ebenso eine Frage der Kapazitätsplanung wie der Langzeitarchivierung. Ermitteln Sie, wie schnell die Infrastruktur das Archiv lesen kann, legen Sie passende Prüfzyklen fest, priorisieren Sie Inhalte mit höherem Risiko und prüfen Sie kontinuierlich nahe an den Daten. Lassen Sie die Speicherplattform unterhalb des Erhaltungssystems Scrubbing und Reparaturen übernehmen und führen Sie gründliche Aufzeichnungen. Gut umgesetzt werden Fixity-Prüfungen zu einem routinemäßigen Hintergrundprozess, der dem Archiv und seinen Prüfern die Gewissheit gibt, dass jedes Objekt noch intakt ist. Häufig gestellte Fragen Was ist eine Fixity-Prüfung? Ein Vergleich zwischen einer bei der Aufnahme in das Archiv berechneten Prüfsumme und einer später berechneten, der bestätigt, dass sich der Inhalt nicht verändert hat. Wie oft sollte Fixity geprüft werden? Viele Archive streben an, jedes Objekt in jeder Kopie mindestens einmal jährlich zu prüfen, Inhalte mit höherem Risiko häufiger. Ersetzt Scrubbing auf Speicherebene Fixity-Prüfungen? Nein. Es erkennt und repariert Beschädigungen innerhalb der Speicherplattform, Archive brauchen aber weiterhin End-to-End-Prüfungen gegen die bei der Aufnahme festgehaltenen Prüfsummen. Ist MD5 für Fixity noch akzeptabel? Es ist wirksam zur Erkennung versehentlicher Beschädigungen und weit verbreitet. Stärkere Algorithmen wie SHA-256 werden bevorzugt, wo Manipulation ein Thema ist. Was passiert, wenn eine Fixity-Prüfung fehlschlägt? Den Fehler bestätigen, eine intakte Kopie finden, die beschädigte Kopie reparieren, die Ursache untersuchen und den Vorfall dokumentieren. Weiterführende Lektüre Speicher für die digitale Langzeitarchivierung Das OAIS-Modell und Speicher Kopien für die digitale Langzeitarchivierung Speicher für das Forschungsdatenmanagement Datenlanglebigkeit in Speichersystemen hoher Dichte
