6 Die Sequenzierung ist günstig geworden – und genau deshalb ist der Speicher schwierig geworden. Eine einzige Gesamtgenomsequenz erzeugt Hunderte Gigabyte an Daten, und ein ausgelastetes Labor oder eine Core Facility verarbeitet Hunderte oder Tausende Proben pro Jahr. Das Ergebnis ist ein unaufhörliches, sich selbst verstärkendes Wachstum von Daten, die jahrelang aufbewahrt werden müssen. Die eigentliche Herausforderung ist selten die reine Kapazität. Es geht darum, den gesamten Lebenszyklus dieser Daten zu verwalten – von schnellen Pipelines heute bis zu einem belastbaren Langzeitarchiv –, ohne dass die Kosten aus dem Ruder laufen und ohne die Reproduzierbarkeit, den Datenschutz und die Teilbarkeit zu verlieren, auf die die Wissenschaft angewiesen ist. Wie Genomdaten tatsächlich aussehen Genomik ist kein einzelner Dateityp, sondern eine Pipeline, und jede Stufe hat ein ganz anderes Speicherprofil. Rohe Reads landen als FASTQ-Dateien direkt vom Sequenzierer. Sie sind groß – bei einem Gesamtgenom etwa 90 bis 120 Gigabyte pro Datei –, und ein einzelnes Projekt erzeugt oft 100 bis 200 Gigabyte an rohen FASTQ-Daten. Danach führt die Pipeline eine Qualitätskontrolle durch, kürzt die Reads und richtet sie an einem Referenzgenom aus. Das Ergebnis sind ausgerichtete Daten als BAM-Dateien, die pro Lauf häufig etwa 200 bis 300 Gigabyte umfassen. CRAM ist eine zunehmend beliebte Alternative zu BAM: Das Format nutzt referenzbasierte Kompression, um Dateigrößen etwa zu halbieren, und eignet sich daher gut für die Langzeitarchivierung ausgerichteter Daten. Schließlich erzeugt das Variant Calling VCF-Dateien – kleine, standardisierte Aufzeichnungen genetischer Variationen wie SNPs, Insertionen, Deletionen und strukturelle Varianten. VCFs sind das, was Labore typischerweise untereinander austauschen. Hinzu kommen Geräte- und Bilddaten sowie gemeinsam genutzte Referenzgenome. Der entscheidende Punkt für den Speicher: Ein abgeschlossenes Projekt hinterlässt große Roh- und Alignment-Dateien, die kaum noch angefasst werden, sowie kleine Variantendateien, die ständig genutzt werden. Eine Einheitslösung passt nicht. Warum Speicher für Genomik besonders schwierig ist Mehrere Belastungen kommen gleichzeitig zusammen. Das Wachstum ist exponentiell. Mit sinkenden Sequenzierkosten steigt die Zahl der Proben, und für Organisationen mit Hunderten oder Tausenden Proben pro Jahr summieren sich die Speicherkosten schnell – vor allem, wenn alles auf teurem primärem NAS landet. Die Dateien sind riesig. Kopieren, Sichern oder Verschieben von Daten wird daher selbst als Routinevorgang langsam und teuer – erst recht im Petabyte-Maßstab. Die meisten Daten werden schnell kalt. Nachdem eine FASTQ-Datei verarbeitet wurde, wird sie kaum noch gelesen, bleibt aber oft auf dem Primärspeicher, weil Standardtools eine frische Datei, die womöglich bald gebraucht wird, nicht ohne Weiteres von einem drei Jahre alten Archiv einer abgeschlossenen Studie unterscheiden können. Die Aufbewahrung ist lang und nicht verhandelbar. Rohdaten müssen aufbewahrt werden – für die Reproduzierbarkeit, aus regulatorischen Gründen und weil eine erneute Analyse mit verbesserten Referenzgenomen und Methoden Jahre später neue Erkenntnisse aus alten Proben gewinnen kann. Wer sie löscht, vernichtet künftigen Wert. Hinzu kommen Zusammenarbeit und Datenaustausch zwischen Einrichtungen, strenge Datenschutzvorschriften und Vorgaben zur Datenresidenz. Genomdaten gehören zu den anspruchsvollsten und sensibelsten Daten in der Unternehmens-IT. Der Lebenszyklus: von heiß zu kalt Die erfolgreiche Strategie behandelt Genomdaten nach ihrer Lebensphase, statt alles auf dieselbe Weise zu speichern. Während der aktiven Analyse sind die Daten heiß. Pipelines, Alignment und Variant Calling brauchen schnellen, parallelen Zugriff, und hier zählt die Leistung am meisten. Sobald ein Projekt verarbeitet ist, werden die rohen FASTQ- und die ausgerichteten BAM-Daten kalt. Sie müssen weiterhin aufbewahrt werden, aber nicht auf der schnellsten und teuersten Ebene liegen. Hier zahlt sich eine bewusste Strategie von heiß zu kalt aus: Komprimieren Sie ausgerichtete Daten zu CRAM, und nutzen Sie automatisierte Lebenszyklusrichtlinien, um kalte Daten vom Primärspeicher auf kosteneffiziente Kapazität zu verlagern, ohne dass sich jemand ständig darum kümmern muss. Die zentrale Disziplin lautet: verlagern, nicht löschen. Langzeitarchivierung hält die Daten für die erneute Analyse verfügbar, die Genomik kumulativ macht, und holt sie zugleich von der Ebene, die das Budget aufzehrt. Leistung für Pipelines, HPC und KI Genomik ist rechenintensiv. Sekundär- und Tertiäranalysen laufen auf HPC-Clustern und zunehmend in KI- und Machine-Learning-Workflows für die Varianteninterpretation, Multiomics und sogar genomische Foundation Models. All diese Workloads lesen und schreiben große Dateien parallel, daher muss die Speicherebene vielen Knoten gleichzeitig einen hohen Gesamtdurchsatz liefern. Wenn der Speicher die Pipeline und die KI-Datenpipeline nicht ausreichend versorgen kann, wartet teure Rechenleistung untätig auf Daten. Ziel ist eine Plattform, deren Durchsatz mit dem Cluster skaliert, damit der Speicher bei einer zeitkritischen Analyse nie zum Engpass wird. Datenschutz, Reproduzierbarkeit und Souveränität Genomdaten sind zutiefst persönlich und in vielen Fällen identifizierend, was sie direkt unter Vorschriften wie HIPAA in den USA und die DSGVO in der EU stellt. Eine Pseudonymisierung als vollständige Lösung zu betrachten, ist riskant, denn Genomdaten lassen sich naturgemäß nur schwer vollständig anonymisieren. Zwei Speichereigenschaften zählen hier über die Zugriffskontrolle hinaus. Erstens Integrität und Reproduzierbarkeit: Unveränderlicher Speicher nach dem WORM-Prinzip (auf Englisch) ermöglicht es einem Labor zu bestätigen, dass Rohdaten seit ihrer Erzeugung nicht verändert wurden. Das stützt sowohl die Reproduzierbarkeit als auch die Abwehr von Ransomware. Zweitens Datensouveränität (auf Englisch): Forschungskonsortien und nationale Programme verlangen zunehmend, dass Genomdaten innerhalb bestimmter Grenzen bleiben. Das bestimmt, wo sie gespeichert werden dürfen und wer darauf zugreifen darf. Speicher für Genomdaten gestalten Fasst man die Anforderungen zusammen, ergibt sich ein klares Profil: riesige Dateien, paralleler Zugriff mit hohem Durchsatz während der Analyse, kosteneffiziente Langzeitaufbewahrung, Integrität, Datenschutz und Souveränität. Deshalb ist skalierbarer Objektspeicher (auf Englisch) zu einer gängigen Grundlage für Genomik im großen Maßstab geworden. Eine S3-kompatible Plattform spricht die Schnittstelle, die moderne Bioinformatik-Tools, Workflow-Manager und KI-Frameworks bereits nutzen. Erasure Coding liefert haltbare Kapazität deutlich kosteneffizienter als Replikation, wenn große Dateien über Jahre aufbewahrt werden. Lebenszyklus und Tiering verlagern kalte FASTQ- und CRAM-Dateien automatisch vom Primärspeicher. Object Lock und WORM schützen Integrität und Reproduzierbarkeit. Und eine Bereitstellung On-Premises oder in einer Private Cloud verschafft Core Facilities und Einrichtungen planbare Kosten, Kontrolle über sensible Daten und Unabhängigkeit von Cloud-Egress-Gebühren, wenn große Datensätze für eine erneute Analyse zurückgeholt werden. Es geht nicht um ein bestimmtes Produkt. Es geht darum, die Architektur an einen der anspruchsvollsten Datenlebenszyklen der Wissenschaft anzupassen. Checkliste zur Bewertung von Speicher für Genomdaten Hoher Gesamtdurchsatz für parallelen Zugriff von Pipelines und HPC Skalierbarkeit auf Petabytes und mehr mit planbaren Kosten bei wachsender Probenzahl Automatisiertes Tiering und Lebenszyklusmanagement von heiß zu kalt, damit kalte Daten den Primärspeicher verlassen Kosteneffiziente Haltbarkeit (zum Beispiel durch Erasure Coding) für mehrjährige Aufbewahrung Unterstützung von CRAM und anderen komprimierten Formaten für die Archivierung Object Lock oder WORM für Unveränderlichkeit, Integrität und Reproduzierbarkeit Zugriffskontrolle und Auditierung im Einklang mit HIPAA und DSGVO Kontrollen für Datenresidenz und Souveränität für Konsortien und nationale Programme S3-kompatibler Zugriff, damit Bioinformatik- und KI-Tools denselben Speicher lesen Alles zusammengefasst Speicher für Genomdaten ist ein Lebenszyklusproblem, kein Kapazitätsproblem. Organisationen, die es gut lösen, halten heiße Daten für die Analyse schnell verfügbar, bewahren kalte Rohdaten günstig und unveränderlich für die erneute Analyse auf, die den wissenschaftlichen Ertrag vervielfacht, und lassen eine abgeschlossene Studie nie auf der teuersten Ebene liegen, nur weil das Verschieben unbequem ist. Der praktische Weg besteht darin, für den gesamten Lebenszyklus der Daten zu planen: schneller paralleler Zugriff, solange sie aktiv sind, automatisiertes Tiering, wenn sie abkühlen, Kompression und kosteneffiziente Haltbarkeit für das Langzeitarchiv sowie durchgängige Kontrollen für Datenschutz, Integrität und Souveränität. Dann ist der Speicher nicht länger das, was begrenzt, wie viel Sie sequenzieren können. Häufig gestellte Fragen Wie groß ist eine Genomdatei? Das hängt von Sequenziertiefe und Plattform ab. Eine FASTQ-Datei eines Gesamtgenoms umfasst etwa 90 bis 120 Gigabyte, eine ausgerichtete BAM-Datei pro Lauf oft rund 200 bis 300 Gigabyte, und eine VCF-Datei mit Varianten ist vergleichsweise winzig. Was ist der Unterschied zwischen FASTQ, BAM, CRAM und VCF? FASTQ enthält rohe Reads vom Sequenzierer, BAM an einer Referenz ausgerichtete Reads, CRAM ist eine stärker komprimierte Alternative zu BAM für die Archivierung, und VCF speichert die ermittelten genetischen Varianten, die Labore typischerweise austauschen. Welcher Speicher eignet sich am besten für Genomdaten? Der Workload spricht für skalierbaren, S3-kompatiblen Objektspeicher: Er liefert parallelen Durchsatz für Pipelines, skaliert auf Petabytes, verlagert Daten automatisch von heiß zu kalt und bietet kosteneffiziente, haltbare Aufbewahrung mit Unveränderlichkeit. Wie lange sollten Genomdaten aufbewahrt werden? Oft viele Jahre. Rohdaten werden für die Reproduzierbarkeit, aus regulatorischen Gründen und für künftige erneute Analysen mit verbesserten Referenzen und Methoden aufbewahrt, daher archivieren die meisten Organisationen, statt zu löschen. Fallen Genomdaten unter HIPAA? In den USA fallen Genomdaten, die einer Person zugeordnet sind, in der Regel unter HIPAA, in der EU unter die DSGVO. Da sich Genomdaten nur schwer vollständig anonymisieren lassen, sollten sie als sensibel behandelt und entsprechend geschützt werden. Weiterführende Lektüre (zur Einführung): Anwendungsfälle für Objektspeicher (auf Englisch), ein Blick auf Hot vs. Cold Storage und Erasure Coding vs. Replikation.
