7 Marc Staimer, President & CDS Dragon Slayer Consulting Am 17. September 2013 veröffentlichte GigaOM ein Whitepaper dieses Analysten mit dem Titel „How object storage tackles thorny ‚exascale‘ problems“. Viele Leser gehen fälschlicherweise davon aus, dass die heiklen Exascale-Probleme nur diejenigen betreffen, die Exabytes an Speicher haben. Das stimmt nicht. Diese Probleme gibt es auch im Petascale-Bereich (Petabytes an Speicherkapazität) und sogar im großen Terascale-Bereich (Hunderte von Terabytes), und sie sind dort ebenso tückisch. Warum ist diese falsche Wahrnehmung also so verbreitet? Kaum jemand kann sich vorstellen, dass die Probleme, die bei einem Exabyte oder mehr Datenspeicher bewältigt werden müssen, schon bei 1/1000 dieser Menge ein Thema sind. Die im GigaOM-Whitepaper beschriebenen Probleme tauchen nicht wie von Zauberhand erst ab einem Exabyte auf. Sie lassen sich dann nur nicht mehr ignorieren. Die eigentliche Frage ist also, ob diese Probleme früher angegangen werden müssen oder sollten, wenn die ersten Symptome im Terascale- und Petascale-Bereich auftreten. Ein wenig logisches Nachdenken macht die Antwort glasklar. Das GigaOM-Paper nennt sieben Probleme: nahtlose Skalierung auf Exabytes; Umkehr der abnehmenden Datenresilienz; Umkehr der abnehmenden Datendauerhaftigkeit; Verringerung der Speicherinfrastruktur einschließlich Strom und Kühlung; Ausstieg aus dem Karussell der Technologie-Refreshs; komplizierte und arbeitsintensive Speicherverwaltung; und eine nachhaltige TCO für Speicher. Nahtlose Skalierung Die meisten Speicheradministratoren haben im Allgemeinen gute Erfahrungen damit gemacht, herkömmlichen Speicher nach Bedarf zu skalieren. Wo liegt also das Problem bei der Skalierung herkömmlicher Speichersysteme? Bei genauerem Hinsehen zeigt sich, dass die Skalierung herkömmlichen Speichers vor allem auf das Dichtewachstum von Festplatten (HDDs) und die Entwicklung von x86-Prozessoren nach dem Mooreschen Gesetz zurückgeht. Diese beiden zentralen Speichertechnologien hielten in den letzten Jahrzehnten in etwa mit dem Datenwachstum Schritt. Doch dieser Gleichschritt zwischen Festplattenkapazität und Prozessorleistung gilt wegen des technologischen Wandels nicht mehr. x86-Prozessoren wachsen schneller als die HDD-Dichte – und zwar mit großem Abstand. Schätzungen des Marktforschungsunternehmens IHS iSuppli zufolge wird die HDD-Dichte in den nächsten fünf Jahren im Durchschnitt um weniger als 20 % pro Jahr zunehmen. Das ist weniger als ein Drittel der jährlichen Wachstumsrate von 62 %, die die meisten Speicheranalysten für die Datenspeicherung prognostizieren – die Dichte hält also nicht mehr Schritt. Die Erfahrungen der Speicheradministratoren passen nicht mehr zu dieser neuen Realität. Die Kapazität herkömmlicher Speicher zu skalieren, ist nicht einfach. Die sich verlangsamende Steigerung der HDD-Dichte beschleunigt den Wildwuchs an Speichersystemen. Auch die Skalierung der Leistung ist bei herkömmlichem Speicher ein großes Problem. Die Leistung wächst schrittweise mit der Kapazität. Jedes neue Speichermedium trägt zur Gesamtleistung des Speichersystems bei. Irgendwann verlagert sich der Leistungsengpass jedoch von den Speichermedien auf den Speicherprozessor oder Controller, der diese zusätzlichen Speichereinheiten verwaltet. Das macht sich besonders bei Flash-SSDs bemerkbar. Die meisten Speichersysteme sind auf zwei Speicher-Controller beschränkt. Zwei Controller begrenzen häufig die Leistung. Eine typische Notlösung ist, weitere Systeme hinzuzufügen (was zu Wildwuchs führt). Mehr Systeme bringen insgesamt mehr Leistung, machen die Speicherverwaltung aber deutlich problematischer und schwieriger. Erkennbar ist der Wildwuchs an einer Flut von Aufgaben in der Speicherverwaltung, der Speicherinfrastruktur und beim Technologie-Refresh sowie an einem ausufernden Budget. Neue Varianten herkömmlicher Speichersysteme können durch zusätzliche Speicher-Controller neben der Kapazität horizontal skalieren. Das mildert zunächst Engpässe bei den Controllern, doch der Gesamtzahl an Speicher-Controllern sind in der Praxis weiterhin enge Grenzen gesetzt (je nach Scale-out-Speichersystem). Letztlich beseitigen zusätzliche Controller den Wildwuchs an Speichersystemen nicht, sondern verschieben ihn nur – zu einem sehr hohen Preis und für lediglich ein paar Petabytes zusätzliche Kapazität. Umkehr der abnehmenden Datenresilienz Die abnehmende Datenresilienz hängt sowohl mit den Speichermedien als auch mit veralteten RAID-Technologien zum Datenschutz zusammen. Die Gesamtkapazität spielt dabei nur insofern eine Rolle, als sie die abnehmende Resilienz sichtbarer macht. Unabhängig von der verwalteten Datenmenge wird auf den Großteil der Daten nur selten zugegriffen (> 90 % laut einer Umfrage von Dragon Slayer Consulting unter 376 IT-Organisationen über zwei Jahre) – es handelt sich also um passive Daten. Passive Daten werden überwiegend auf günstigen SATA- oder Nearline-SAS-Laufwerken (NL-SAS) gespeichert. Die Geschichte der HDDs zeigt, dass sie gehäuft ausfallen. Deshalb werden Laufwerke in RAID-Gruppen zusammengefasst. Rebuilds nach Laufwerksausfällen brauchen Zeit. Große Laufwerke mit 3 oder 4 Terabyte brauchen lange für den Rebuild, oft mehrere Tage. Während des Rebuilds sinkt die Leistung des Speichersystems spürbar. Längere Rebuild-Zeiten erhöhen das Risiko weiterer Laufwerksausfälle. Ausfälle wie nicht behebbare Lesefehler (NRE) können während des Rebuilds auftreten und tun es auch. RAID-Controller interpretieren einen NRE als Laufwerksausfall. RAID 6 schützt vor einem oder zwei gleichzeitigen Ausfällen in der RAID-Gruppe. Größere Laufwerke bedeuten mehr Bits und eine deutlich höhere Wahrscheinlichkeit von NRE-Ausfällen während eines Rebuilds. Bei SATA-Laufwerken liegt die Wahrscheinlichkeit eines NRE-Ausfalls irgendwann bei über 99 %. Selbst Laufwerke mit einer besseren Bitfehlerrate von 1015 haben eine Wahrscheinlichkeit von über 40 %, dass mehr als zwei Laufwerke ausfallen. Dieses Problem lässt sich am besten mit Erasure Codes (EC) oder Multi-Copy-Mirroring (MCM) lösen. MCM eignet sich gut für kleine Mengen häufig genutzter Daten, ist für große Datenmengen aber wirtschaftlich nicht tragbar. Bei EC ist es umgekehrt, denn EC erhöht die Latenz bei kleinen Dateien oder Objekten. Herkömmlicher Speicher unterstützt selten eine dieser Technologien und bietet stattdessen nur RAID, Snapshots, Replikation und Spiegelung (also viele Kopien). Im Gegensatz dazu basiert EC, das über ein ganzes Speichersystem verteilt ist – lokal oder geografisch –, auf Objektspeicher, ist deutlich effizienter und benötigt weniger zusätzlichen Speicher als eine zweite Kopie der Daten. Erste Warnzeichen für ein Problem mit der Datenresilienz zeigen sich, wenn die Leistung des Speicher-Controllers spürbar nachlässt. Das lässt sich oft auf eine steigende Zahl von RAID-Rebuilds zurückführen. Unbehandelt führt es zu häufigeren Datenbeschädigungen, Ausfällen von RAID-Gruppen und Wiederherstellungsvorgängen, um Datenverluste zu beheben. Umkehr der abnehmenden Datendauerhaftigkeit Daten immer wieder zu kopieren, erhöht die Wahrscheinlichkeit eines Datenverlusts. (Denken Sie an den zunehmenden Qualitätsverlust, wenn man eine Kopie einer Kopie einer Kopie kopiert.) Genau das tun herkömmliche Speicherpraktiken. Bei jedem Kopiervorgang können Daten beschädigt werden oder verloren gehen. Mehr Kopien der Daten sind bei weiter wachsenden Datenmengen wirtschaftlich nicht tragbar. Regulatorische Vorgaben, die eine Aufbewahrung von Daten über Jahrzehnte oder länger verlangen, verschärfen das Problem der Online- und Offline-Datendauerhaftigkeit mit herkömmlichen Speichermethoden noch weiter – unabhängig von der verwalteten Kapazität. Damit Datendauerhaftigkeit wirtschaftlich tragbar ist, sind autonome Selbstheilung und EC heute unverzichtbar. Verringerung der Speicherinfrastruktur einschließlich Strom und Kühlung Die Lücke zwischen Laufwerksdichte und Datenwachstum wächst rasant. Um ausreichenden Datenschutz zu bieten, die nutzbare Speicherauslastung zu verbessern, Datenkopien zu minimieren und den Platzbedarf des Speichers einschließlich der Infrastruktur zu verringern, müssen Verantwortliche EC einsetzen. Systemweites oder geografisch verteiltes EC ist mit herkömmlichem Speicher, einschließlich klassischer Scale-out-Speicher, nicht verfügbar. EC – möglich gemacht durch Objektspeicher – verringert den gesamten Speicherbedarf und damit auch Infrastruktur-, Strom- und Kühlungskosten und -anforderungen. Steigende Stromrechnungen im Rechenzentrum sind ein klares Anzeichen für einen Wildwuchs der Speicherinfrastruktur. Raus aus dem Karussell der Technologie-Refreshs Technologie-Refreshs sind der Fluch der Speicheradministratoren. Sie sind störend, arbeitsintensiv, zeitaufwendig und bei allen Speichersystemen nötig – samt Neukauf der Lizenzen. Und sie sind sehr teuer. Wenn Speicheradministratoren den Refresh verabscheuen und die Datenmigration ansteht, gibt es ein ernstes Problem. Mehrere Professional-Services-Organisationen, darunter SAN Pulse und EMC, schätzen, dass die Kosten eines Technologie-Refreshs etwa 30 % eines typischen neu implementierten Speichersystems erreichen. Objektspeicher beseitigt sowohl den Aufwand als auch die Kosten von Technologie-Refreshs, denn Speicherknoten lassen sich im laufenden Betrieb hinzufügen und entfernen, ohne dass jemals Daten migriert werden müssen. Komplizierte, arbeitsintensive Verwaltung Die Verwaltung herkömmlicher Speicher war nie einfach, ist pro System aber relativ leichter geworden. Doch dieser Gewinn an Einfachheit wird durch den Wildwuchs an Speichersystemen zunichtegemacht. Mehr als ein Speichersystem zu verwalten, macht die Verwaltung geometrisch schwieriger. Jedes System erhöht die Verwaltungsaufgaben und die Komplexität – mit laufender, arbeitsintensiver Lastverteilung, Datenmigrationen, Multipath-Zugriff, unterschiedlichem Datenschutz, Disaster Recovery, Plänen zur Geschäftskontinuität und Technologie-Refreshs. Objektspeicher, der praktisch unbegrenzt und automatisch skaliert, macht viele gängige Speicheraufgaben überflüssig. EC verringert die Zahl der Datenkopien und den benötigten Speicher radikal. Zudem verringert autonome Selbstheilung die Anforderungen an den Datenschutz und die Aufgaben der Speicheradministratoren. Eine nachhaltige TCO für Speicher Der Anstieg der TCO herkömmlicher Speichersysteme war selbst mit der schleichenden Kostensteigerung bei Software einigermaßen beherrschbar, solange das Dichtewachstum der Speichermedien mit dem Wachstum der gespeicherten Daten Schritt hielt. Die Verlangsamung beim Dichtewachstum hat das Wachstum der Speicherkapazität deutlich teurer gemacht. Um diese Kosten in den Griff zu bekommen, braucht es den neuen Ansatz von Objektspeicher für die kurz- und langfristige Verwaltung von Daten. Um die TCO niedrig zu halten, muss Objektspeicher Erasure Coding, unbegrenzte Skalierbarkeit, „kinderleichte“ Verwaltung und Technologie-Refreshs im laufenden Betrieb ohne Neukauf von Lizenzen bieten – und dabei Standardserver, -laufwerke und -netzwerke nutzen. Fazit Die im GigaOM-Whitepaper untersuchten Speicherprobleme werden im Terascale- und Petascale-Bereich immer deutlicher und dringlicher. Terascale- und Petascale-Umgebungen wachsen rasant um mehr als 62 % pro Jahr. Herkömmliche Speicherprobleme lassen sich mit herkömmlichem Speicher kaum lösen. Für diese schwierigen und vertrackten Probleme braucht es einen anderen Speicheransatz. Dieser Ansatz ist heute Objektspeicher mit Erasure Coding.
