5 Die Speicherung von Gerätedaten ist zu einer der größten Herausforderungen für Zentren des wissenschaftlichen Rechnens geworden. Kryo-Elektronenmikroskope, Hochdurchsatz-Sequenzierer, Lichtblatt- und Elektronenmikroskope, Massenspektrometer, Synchrotron-Strahllinien und Teleskope erzeugen kontinuierlich Daten, oft mehrere Terabyte pro Tag und Gerät. Diese Daten müssen bei ihrer Entstehung zuverlässig erfasst, auf HPC- oder GPU-Clustern verarbeitet, mit Forschenden und Kooperationspartnern geteilt und jahrelang nach den Richtlinien der Einrichtung und der Förderer aufbewahrt werden. Der Betrieb der Geräte ist teuer, daher darf der Speicher nie der Grund dafür sein, dass ein Experiment stoppt. Dieser Artikel erläutert den Datenfluss vom Gerät bis zum Archiv, die beteiligten Speicherebenen, die Rolle von Objektspeicher und die Richtlinien, die Gerätedaten beherrschbar halten. Er richtet sich an Architekten für wissenschaftliches Rechnen und an Leitungen von Gerätezentren. Das Gesamtbild zum Tiering bietet unsere Übersicht zum HPC-Daten-Tiering. Warum Gerätedaten anders sind Kontinuierliche Erzeugung: Geräte laufen während der Sitzungen rund um die Uhr und schreiben ständig Daten. Hohe Volumen: Moderne Detektoren und Sequenzierer erzeugen große Dateien mit hohen Raten. Kryo-EM-Sitzungen mit direkten Elektronendetektoren erzeugen beispielsweise häufig mehrere Terabyte pro Tag und Mikroskop. Keine Toleranz für Verluste: Ein Experiment zu wiederholen kann teuer oder unmöglich sein, etwa bei einzigartigen Proben oder knapper Gerätezeit. Rechenintensiv: Rohdaten werden über rechenintensive Pipelines, oft auf GPUs, zu abgeleiteten Daten verarbeitet. Gemeinsam genutzte Einrichtungen: Gerätezentren bedienen viele Forschungsgruppen und externe Nutzer, die jeweils Zugriff auf ihre eigenen Daten brauchen. Lange Aufbewahrung: Roh- und verarbeitete Daten können für Reproduzierbarkeit, Veröffentlichung und die Einhaltung von Fördervorgaben erforderlich sein. Der Datenfluss Erfassung Geräte schreiben Daten auf lokale Erfassungsrechner oder an das Gerät angeschlossenen Speicher. Dieser lokale Speicher ist meist klein und muss schnell geleert werden, damit das Gerät weiterlaufen kann. Übertragung in eine Landing Zone Die Daten werden kontinuierlich oder nach jeder Erfassung in einen zentralen Speicher übertragen – eine Landing Zone, die so dimensioniert ist, dass sie die Geräteausgabe mit Reserve aufnimmt. Die Übertragungen sollten automatisiert und überwacht sein, mit Prüfsummen zur Bestätigung der Integrität. Verarbeitung Die Daten werden zur Verarbeitung auf Hochleistungsspeicher in der Nähe der Rechenressourcen bereitgestellt: Bewegungskorrektur und Partikelauswahl bei Kryo-EM, Base Calling, Alignment und Variant Calling bei der Sequenzierung, Rekonstruktion bei der Bildgebung. Zwischendateien können groß und kurzlebig sein. Ergebnisse und Austausch Verarbeitete Ergebnisse werden im Projektspeicher abgelegt und mit Forschungsgruppen geteilt, mitunter auch extern über Portale oder S3-Zugriff. Archiv Rohdaten und wichtige verarbeitete Ergebnisse wandern zur Aufbewahrung in den Archivspeicher, häufig Objektspeicher, mit Metadaten, die sie mit Projekten, Proben und Publikationen verknüpfen. Veröffentlichung und Hinterlegung Daten, die Publikationen zugrunde liegen, können in öffentlichen Repositorien hinterlegt werden, etwa in Community-Archiven für Kryo-EM- oder Sequenzierdaten, während lokale Kopien gemäß Richtlinie erhalten bleiben. Die Rolle von Objektspeicher Objektspeicher dient zunehmend als Landing Zone, Archiv und Austauschebene für Gerätedaten: Skalierung: wächst durch Hinzufügen von Knoten, wenn Geräte und Projekte zunehmen. Aufnahmedurchsatz: bewältigt parallele Schreibvorgänge mehrerer Geräte. S3-Zugriff: Moderne Erfassungssoftware, Data Mover, Workflow-Manager und Portale können direkt lesen und schreiben. Langlebigkeit: Erasure Coding und Replikation über mehrere Standorte schützen unersetzliche Daten. Austausch: Zugriffsrichtlinien und vorsignierte URLs ermöglichen es Einrichtungen, Daten sicher mit internen und externen Nutzern zu teilen. Metadaten: Objekt-Tags können Kennungen für Gerät, Sitzung, Projekt und Probe festhalten. Ein gängiges Muster: Daten landen im Objektspeicher, werden zur Verarbeitung auf ein paralleles Dateisystem bereitgestellt, und die Ergebnisse werden zurück in den Objektspeicher geschrieben. Entscheidungen zur Aufbewahrung Die Datenmengen der Geräte erzwingen harte Entscheidungen darüber, was aufbewahrt wird: Rohdaten: Manche Fachgebiete bewahren alle Rohdaten auf; andere behalten Rohdaten nur für einen begrenzten Zeitraum und verarbeitete Ergebnisse langfristig, da die Verarbeitung teuer zu wiederholen ist, Rohdaten aber sehr groß sind. Zwischendateien: werden meist nach der Verarbeitung gelöscht. Verarbeitete Ergebnisse: werden für die Laufzeit des Projekts und darüber hinaus aufbewahrt. Veröffentlichte Datensätze: werden gemäß den Vorgaben von Förderern und Verlagen aufbewahrt. Stimmen Sie die Aufbewahrungsrichtlinien mit den Nutzern der Einrichtung und der Forschungsleitung ab und automatisieren Sie sie mit Lifecycle-Regeln. Besonderheiten bei Kryo-EM Kryo-EM-Sitzungen erzeugen große Mengen an Movie-Dateien, die zu Mikrografien und Partikelstapeln verarbeitet werden. Einrichtungen gehen typischerweise so vor: Daten während der Aufnahme vom Mikroskop in eine Landing Zone streamen. Eine Vorverarbeitung in Echtzeit auf GPU-Knoten ausführen, um während der Sitzung Rückmeldung zu geben. Rohe Movies im Objektspeicher archivieren, mindestens bis Verarbeitung und Veröffentlichung abgeschlossen sind. Verarbeitete Partikelstapel und Maps für weitere Analysen im Projektspeicher behalten. Besonderheiten bei der Sequenzierung Sequenzierdaten umfassen rohe Signal- oder Bilddaten, Base Calls sowie nachgelagerte Alignments und Varianten. Einrichtungen gehen typischerweise so vor: Laufergebnisse automatisch von den Sequenzierern in den zentralen Speicher übertragen. Mit Pipelines auf HPC-Clustern verarbeiten. Komprimierte Read-Dateien und wichtige abgeleitete Ergebnisse behalten und große Zwischendateien löschen. Datenschutzkontrollen für humangenomische Daten anwenden, die in vielen Rechtsordnungen sensible personenbezogene Daten sind. Speicher für Gerätedaten dimensionieren Landing Zone: mindestens mehrere Tage Spitzenausgabe aller Geräte, um Verarbeitungsrückstände oder Ausfälle abzufangen. Verarbeitungsspeicher: Arbeitsbestände für gleichzeitig laufende Pipelines, auf Hochleistungsspeicher. Archiv: angesammelte Roh- und verarbeitete Daten über die Aufbewahrungsfristen, zuzüglich Wachstum durch neue Geräte. Netzwerk: Verbindungen von den Geräten zur Landing Zone und vom Speicher zu den Rechenressourcen, ausgelegt auf Spitzenraten. Betrieb der Einrichtung Gerätezentren betreiben Geräte als gemeinsame Dienste, daher muss der Speicher zu ihren Abläufen passen. Buchungssysteme können Projekt- und Sitzungskennungen erzeugen, die automatisch in Datenpfade und Objekt-Tags einfließen und jeden Datensatz mit der richtigen Gruppe und dem richtigen Förderprojekt verknüpfen. Einrichtungen bieten Nutzern nach einer Sitzung oft eine befristete kostenlose Speicherzeit, nach der die Daten in die eigene Zuteilung der Gruppe wandern oder gelöscht werden. Eine klare Kommunikation dieser Regeln und automatische Benachrichtigungen vor Ablauf vermeiden Streit und Datenverlust. Monitoring ist unverzichtbar. Verfolgen Sie die Übertragungswarteschlangen jedes Geräts, die Kapazität der Landing Zone, Verarbeitungsrückstände und die Archivaufnahme. Ein Alarm, wenn die Übertragungen eines Geräts ins Stocken geraten, verschafft dem Personal Zeit zu handeln, bevor der lokale Erfassungsspeicher voll ist und die Sitzung abgebrochen werden muss. Planung für neue Geräte Die Leistungsfähigkeit der Geräte macht mit jeder neuen Detektor- oder Sequenzierergeneration Sprünge und vervielfacht oft die Datenraten. Plant eine Einrichtung ein neues Gerät, sollte die Speicher- und Netzwerkplanung zeitgleich mit der Beschaffung beginnen, nicht erst nach der Installation. Fragen Sie die Hersteller nach realistischen Datenraten bei typischen Protokollen, modellieren Sie die Auswirkungen auf Landing Zone, Verarbeitung und Archiv und budgetieren Sie die Speichererweiterung als Teil des Geräteprojekts. Wer den Speicher als Teil der Gerätekosten betrachtet, vermeidet die häufige Situation, dass ein neues Mikroskop oder ein neuer Sequenzierer kaum genutzt wird, weil die Dateninfrastruktur nicht mithalten kann. Externe Nutzer und Kooperationen Viele Einrichtungen bedienen externe Nutzer aus Wissenschaft und Industrie. Stellen Sie ihnen sichere Wege bereit, ihre Daten abzurufen, etwa zeitlich begrenzte S3-Zugangsdaten oder Download-Portale, statt Festplatten zu verschicken. Vereinbaren Sie im Voraus, wie lange externe Daten aufbewahrt werden und wer für eine längere Aufbewahrung zahlt. Regionale und regulatorische Aspekte Humandaten aus Sequenzierung und Bildgebung unterliegen Datenschutzgesetzen wie der DSGVO in Europa und entsprechenden Regeln andernorts, und manche nationalen Forschungsprogramme verlangen, dass die Daten im Land bleiben. Einrichtungen, die internationale Kooperationen bedienen, müssen Zugriff und Speicherort sorgfältig steuern. On-Premises-Objektspeicher hilft, sensible Daten innerhalb der institutionellen und nationalen Grenzen zu halten. Integrität von Anfang an Berechnen Sie Prüfsummen auf dem Erfassungsrechner vor der Übertragung und prüfen Sie sie bei Ankunft. So wird eine Beschädigung während der Übertragung erkannt, solange das Original noch auf dem Gerät liegt. Checkliste: Speicher für Gerätedaten Übertragung von den Geräten in eine Landing Zone mit Prüfsummen automatisieren. Die Landing Zone für mehrere Tage Spitzenausgabe dimensionieren. Daten zur Verarbeitung auf Hochleistungsspeicher bereitstellen. Objektspeicher als Landing-, Archiv- und Austauschebene nutzen. Daten mit Metadaten zu Gerät, Sitzung, Projekt und Probe taggen. Aufbewahrung für Roh-, Zwischen- und verarbeitete Daten festlegen. Lifecycle-Regeln und Löschung automatisieren. Unersetzliche Daten über mehrere Standorte schützen. Datenschutzkontrollen für Humandaten anwenden. Netzwerke für die Spitzenausgabe der Geräte dimensionieren. Zusammenfassung Speicher für Gerätedaten muss jedes Byte zuverlässig erfassen, es effizient zu den Rechenressourcen bringen und das Wichtige jahrelang aufbewahren. Objektspeicher ist für diesen Fluss zentral geworden und dient als Landing Zone, Archiv und Austauschebene, während Hochleistungs-Dateisysteme die Verarbeitung übernehmen. Klare Aufbewahrungsrichtlinien, Automatisierung und gute Metadaten halten wachsende Gerätelandschaften beherrschbar und stellen sicher, dass wertvolle experimentelle Daten nie verloren gehen. Häufig gestellte Fragen Wie viele Daten erzeugt ein Kryo-EM-Mikroskop? Moderne Kryo-EM-Mikroskope mit direkten Elektronendetektoren erzeugen während der Aufnahmesitzungen häufig mehrere Terabyte pro Tag. Wo sollten Gerätedaten zuerst landen? In einer zentralen Landing Zone mit genug Kapazität für mehrere Tage Spitzenausgabe, oft Objektspeicher oder ein Hochleistungs-Dateisystem. Sollten rohe Gerätedaten für immer aufbewahrt werden? Das hängt vom Fachgebiet, den Kosten und der Richtlinie ab. Manche bewahren alle Rohdaten auf, andere für einen festgelegten Zeitraum und behalten die verarbeiteten Ergebnisse langfristig. Warum Objektspeicher für Gerätedaten nutzen? Er skaliert, bewältigt parallele Aufnahme, unterstützt S3-Zugriff für Tools und Portale, schützt Daten dauerhaft und ermöglicht sicheren Austausch. Wie werden sensible Sequenzierdaten geschützt? Mit Zugriffskontrollen, Verschlüsselung, Audit-Logging und Speicherorten, die den Datenschutzgesetzen entsprechen. Weiterführende Lektüre HPC-Daten-Tiering Tiering paralleler Dateisysteme auf Objektspeicher S3-Speicherdienste an Universitäten Speicher für Genomdaten
