6 Was haben „Omics“, Lichtquellen und Sensoren auf dem Meeresboden gemeinsam? Big Data. Wirklich gigantische Datenmengen. Moderne Genomsequenzierer wie der Illumina HiSeq X 10 werden Terabytes an Daten pro Tag (auf Englisch) erzeugen. Wissenschaftler der Advanced Light Source (ALS) am Berkeley Lab sprechen von Experimenten mit Lichtquellen, die über 100 Terabyte pro Tag erzeugen könnten (auf Englisch), manche sogar von über 300 Terabyte pro Tag. Joe Klimavicz, ehemaliger CIO der NOAA, sagte vor einigen Jahren voraus, dass die NOAA bis 2020 bis zu 800 Terabyte an Daten pro Tag (auf Englisch) erfassen und mehr als 100 Exabyte speichern könnte. In diesen Größenordnungen denkt die US-Regierung. Größer als Big Data. Was ist eigentlich ein Exabyte? Ein Exabyte ist eine so große Zahl, dass sie ihre Bedeutung verliert. Selbst die üblichen Vergleiche mit der Library of Congress (auf Englisch) werden ihr nicht gerecht – versuchen wir es also mit Musik. In guter Qualität ist ein vierminütiger Song 8,4 Megabyte groß. Ein Exabyte entspräche 119 Milliarden Songs, die 906.000 Jahre lang laufen würden. Immer noch schwer vorstellbar? Denken Sie an die Menge an IP-Traffic, die jeden Monat um die Welt geht. Denken Sie an die Menge an Sensordaten, die jeden Monat erfasst werden. Denken Sie an Langzeitsimulationen von Klima, Geologie oder der Sicherheit von Atomwaffen. All das sind Beispiele für Datenmengen im Multi-Petabyte- oder Exabyte-Maßstab. Hier haben wir ein paar weitere zusammengestellt: Durchbrüche werden möglich sein – doch dafür braucht es Durchbrüche beim Speicher Wissenschaftler werden ganze Bevölkerungen sequenzieren können, um seltene Krankheiten zu erkennen, genetische Risikofaktoren zu identifizieren und die Reaktion auf Medikamentendosen genauer zu bestimmen. Sie werden die elektronische Struktur von Materie besser untersuchen können, um komplexe biologische Prozesse zu verstehen oder neue Batterietechnologien zu entwickeln. Sie werden die Auflösung von Klimamodellen verdoppeln (und vermutlich irgendwann verdreifachen), um Stürme und Wetter weiter im Voraus vorherzusagen. Mit den erzeugten Daten werden Durchbrüche möglich sein, doch es braucht weitere Durchbrüche bei Speicher und Analytik, um die Datenexplosion zu bewältigen. In den ersten Phasen ebenso wie über den gesamten Lebenszyklus der Datenverarbeitung und -analyse werden riesige Mengen flexiblen Speichers benötigt, der mit mehreren Anwendungen und unterschiedlichen Kosten- und Leistungszielen funktioniert. Die Verarbeitung muss weiterhin dichter, günstiger und energieeffizienter werden. Und Analysetechniken und -plattformen müssen sich weiterentwickeln. Hier bei Scality sehen wir schon heute immer größere Ausschnitte der Zukunft, etwa unseren jüngsten Auftrag über mehr als 200 Petabyte beim Los Alamos National Laboratory. Wir freuen uns darauf, unsere Erkenntnisse zu teilen! Diese Woche sind wir auf der International Supercomputing Conference (auf Englisch) und sprechen über Speicher im Petabyte-Maßstab und GovData. Wir hoffen, Sie dort zu sehen, hier in den Kommentaren unten oder auf Twitter. Weiter geht’s!
