So erreichen Sie Flash-Leistung für unstrukturierte Daten

9

Flash-Leistung bei Scale-out-Speicher überzeugt bei unstrukturierten Daten

Speicheranbieter betonen gern, wie Flash-Leistung Kunden helfen kann, die nächste Datenlawine zu bewältigen. Doch es geht nicht um beliebige Daten: Der Boom unstrukturierter Daten übertrifft andere Typen bei Weitem, etwa strukturierte Daten, die sich ordentlich in Zeilen und Spalten bekannter relationaler Datenbanken einfügen. Die meisten Unternehmen wissen, dass sie Petabytes an Dateidaten verwalten – in Form von Dokumenten, Medien (Videos und Fotos), Backup-Dateien, Dateien virtueller Maschinen und mehr. Diese Mischung umfasst zunehmend auch branchenspezifische Dateitypen (medizinische Bilder, Genomik) sowie Daten aus neuen Internet-of-Things- und Edge-Anwendungen (auf Englisch). Daher werden Scale-out-Objekt- und Dateispeicherlösungen immer beliebter, denn IT-Experten wissen, dass sie damit modernisieren können:

• Speicherung von Milliarden Objekten und Dutzenden Petabytes,
• mehr Wert durch Erkenntnisse aus Daten,
• Cloud-ähnliche Wirtschaftlichkeit.

Trotz dieser Vorteile hält sich in der Branche die Vorstellung, Scale-out-Speicher sei im Vergleich zu herkömmlichen Blockspeicher-Arrays (SAN) und Dateiservern (NAS-Filer (auf Englisch)) träge – und eigne sich daher nur für „Archiv“- oder „Tier-2“-Anwendungen. Doch diese Begrifflichkeit ist irreführend, denn sogenannte „Tier-1-Anwendungen“ oder „geschäftskritische Anwendungen“ erfordern in der Regel ein transaktionales System auf einer Datenbank. Entscheidend ist hier, wie schnell die Anwendung kleine Datensätze finden und verarbeiten kann (nicht, wie lange das Lesen der Daten dauert – das ist weniger relevant). Die wichtigste Leistungskennzahl für Blockspeicher ist daher die Latenz beim Zugriff. Bei den meisten Flash-Array-Speichersystemen erwartet man für diese Art transaktionaler Workloads Zugriffslatenzen im einstelligen Millisekundenbereich (ms) oder sogar unter 1 ms. Es gibt zwar Speichersysteme, die schneller als in einer Millisekunde antworten, doch die Anwendungen, die tatsächlich diese Leistung benötigen, sind hoch spezialisiert – denken Sie an den Finanzhandel.

Bei modernen Scale-out-Speichersystemen wie Scality RING (auf Englisch) müssen wir eigentlich zwei Leistungsdimensionen berücksichtigen:

1. Zugriffslatenz: die Antwortzeit auf eine Lese- oder Schreibanfrage an das System, wie oben beschrieben, und …
2. Durchsatz: das Maß dafür, wie schnell auf Daten zugegriffen werden kann, nachdem sie gefunden wurden, typischerweise gemessen in Megabyte pro Sekunde (MB/s) oder Gigabyte pro Sekunde (GB/s).

Bei riesigen Daten-Workloads ist Durchsatz König

Bei den meisten großen Dateien und Datenmengen, etwa beim Videostreaming, beim Schreiben (Speichern) oder Lesen (Wiederherstellen) von Backups, ist der Durchsatz und nicht die Latenz die entscheidende Leistungskennzahl. Da das Lesen einer großen Datei (Megabyte bis Gigabyte) wie beim Videostreaming Sekunden bis Minuten dauern kann, ist es für die Gesamtleistung der Anwendung unerheblich, ob die Zugriffslatenz 1 oder mehrere Millisekunden beträgt.

Bei Scality RING (auf Englisch)ist der Durchsatz seit jeher eine Kernstärke – mit der Möglichkeit, ihn horizontal auf Dutzende Gigabyte pro Sekunde und mehr zu skalieren. Deshalb ist RING in der Produktion für die Speicherung von Daten in durchsatzintensiven Workloads weit verbreitet, etwa:

• Bereitstellung von Online-Videoinhalten (auf Englisch)
• Big Data (auf Englisch) Analytics (etwa große Splunk-Indexer-Implementierungen (auf Englisch))
• Medizinische Bildgebung (auf Englisch) (Speichern und Abrufen medizinischer Bildscans)
• Groß angelegte Workloads für Backup (auf Englisch) und Wiederherstellung

Das sind eindeutig keine „Tier-2“-Archiv-Workloads, auf die selten oder nie zugegriffen wird. Diese „geschäftskritischen“ Datensätze erfordern tatsächlich einen Durchsatz auf „Tier-1“-Niveau – und deshalb ist der RING eine vertrauenswürdige Scale-out-Speicherlösung (auf Englisch) für einige der größten Daten-Workloads der Welt.

Latenz optimiert mit Flash-Leistung

Um zu verstehen, wie Scale-out-Speicher mit Latenz umgeht, hilft ein Blick auf die zugrunde liegende Architektur. RING nutzt seit fast einem Jahrzehnt die Leistung von Flash-Medien, um interne Dateisystem– und Objektspeicher-Metadaten zu speichern. Bei Dateisystemen betreffen Metadaten die Verzeichnisstrukturen, POSIX-Berechtigungen und die Dateipfade bzw. -kennungen. Bei Objektspeicher betreffen Metadaten die Container (Buckets bei AWS S3) sowie interne Attribute wie Bucket-Namen, Erstellungsdaten, Zugriffskontrollrichtlinien und die IDs (Schlüssel) der Objekte im jeweiligen Bucket. RING geht im Namen der Leistung noch einen Schritt weiter: Es speichert eine weitere Ebene interner Metadaten auf Flash – die Indizes der Daten auf den Festplatten – und reserviert die günstigeren rotierenden Festplatten nur für die eigentlichen Datenmengen. Dadurch kann ein sehr hoher Anteil der Zugriffsvorgänge in Gedankenschnelle bedient werden:

• Auffinden einer Datei,
• Ändern oder Abrufen eines Metadatenattributs,
• Auflisten eines Dateisystemverzeichnisses oder
• Zugriff auf einen Bucket über die S3 API.

Die oben genannten Vorgänge werden direkt aus dem Flash bedient, ohne jemals die auf rotierenden Festplatten (HDD) gespeicherten Daten zu berühren.  Indem wir die Daten selbst auf HDD halten, senken wir die Gesamtkosten des Speichers und stellen zugleich sicher, dass der Zugriff auf die Daten blitzschnell erfolgt. Wie schnell ist RING also in puncto Latenz? Durch das Profiling Hunderter Kunden-Workloads hat Scality die reale Antwortlatenz von RING auf hybriden Flash/HDD-Speicherservern dokumentiert – mit Messmethoden auf Basis des 95. Perzentils (auf Englisch). Typische Schreibanfragen zeigen eine Antwortlatenz in der Größenordnung von 3 Millisekunden, was auf den Einsatz von Flash für Indizes und auf sicheres Write-Caching in nichtflüchtigem Speicher der Speicherserver zurückzuführen ist. Bei Lesezugriffen sehen wir Antwortzeiten, die den Latenzen von Festplatten entsprechen. Sie liegen je nach Laufwerk im Bereich von 5 bis 12 Millisekunden und bleiben dank der auf Flash gespeicherten Indizes unabhängig von der Anzahl der gespeicherten Objekte konstant.

Was ist also das Fazit?

Diese Antwortzeiten eignen sich perfekt für eine Vielzahl anspruchsvoller Big-Data-Anwendungen, bei denen die Gesamtleistung von der eigentlichen Datenübertragung und dem Durchsatz bestimmt wird. Mit dem inhärenten Kostenvorteil von HDDs, kombiniert mit einer „Prise Flash“, profitieren IT-Fachleute vom optimalen Preis-Leistungs-Verhältnis für ein breites Spektrum an Anwendungen und Workloads. Wie schnell wäre RING also auf All-Flash (mit Flash für Metadaten und Daten)? Bleiben Sie dran für Teil 2 …