1 Scality hat heute RING XP angekündigt – eine spezielle Konfiguration unserer RING-Objektspeichersoftware, die für die extremen Performance-Anforderungen von Training und Feinabstimmung von KI-Modellen optimiert ist. Anwendungen in diesem Bereich benötigen Zugriff auf Millionen und Milliarden (oder mehr) kleiner Datenobjekte, deren Größe im Bereich weniger Kilobytes (KB) oder darunter liegt – und das System unterstützt zugleich große Objekte (ab GB) sehr effizient und mit hohem Durchsatz. Das zentrale Performance-Ziel ist hier eine extrem niedrige Zugriffslatenz. Bei Workloads mit kleinen Objekten (4 KB und kleiner) erreicht RING XP Lese- und Schreiblatenzen im Bereich von Hunderten Mikrosekunden – ein Leistungsniveau, das noch keine Objektspeicherlösung auf dem Markt erreicht hat, weder on-premises noch in der Cloud. RING XP – eX treme P erformance für Training und Feinabstimmung von KI-Modellen in KI-Anwendungen. So haben wir die Ergebnisse erzielt: Kontext zur eXtreme Performance von RING Zur Einordnung lassen sich die Antwortzeiten von RING XP im Mikrosekundenbereich vergleichen mit: Standard-Cloud-Objektspeicher AWS S3: Amazon S3 liefert Latenzen zwischen 10 und 50 Millisekunden, wobei diese nicht deterministisch oder durch ein SLA begrenzt sind und oft höher ausfallen. Amazon S3 Express One Zone (auf Englisch): AWS führte Ende 2023 eine schlankere (weniger funktionsreiche und nicht S3-API-kompatible) Objektschnittstelle ein. Im Gegenzug für den reduzierten Funktionsumfang (geändertes Bucket-Modell, Daten nur in einer Region/Zone) verspricht sie Latenzen im „einstelligen Millisekundenbereich“. All-Flash-Dateisysteme (kein Objektspeicher): Appliance-basierte All-Flash-Dateisysteme – oft nur auf proprietären Servern – können über Dateiprotokolle (NFS) Latenzen im Bereich von Hunderten Mikrosekunden liefern. Einige bieten zwar S3-Objektspeicherschnittstellen, veröffentlichen aber keine Performance-Daten für Objekte und verursachen über Objektprotokolle mit nahezu absoluter Sicherheit höhere Latenzen als über Dateisystemschnittstellen. Nur RING XP kann bis in den Exabyte-Bereich skalieren und gleichzeitig Latenzen im Mikrosekundenbereich liefern. Die Performance-Tests von RING XP wurden in folgender Umgebung durchgeführt: Softwareversion: RING/RING XP 9.3.0.8 Plattform: Dell PowerEdge R7615, AMD EPYC™ 9124 mit 3,0 GHz, 3,2-TB-PCI/NVMe-Laufwerke (Mixed Use) Betriebssystem: Rocky Linux 8.6 (Kernel-Version 4.18.0-372) Netzwerk: 1 x 100 GbE Testtreiber: Client auf einem Dell-PowerEdge-R7615-Server, der 4-KB-Objekte über die Objektspeicher-API von RING XP schreibt und liest (PUT-/GET-Anfragen) Die auf dem Client gemessenen Antwortzeiten umfassen die Sende- und Empfangszeit für das 4-KB-Datenobjekt Verteilung der Objektanfrage-Performance von RING XP Erreichte Leistungswerte: In dieser Umgebung lieferte RING XP für die Mehrheit der API-Anfragen konstante Zugriffslatenzen unter 511 Mikrosekunden (GET) und unter 741 Mikrosekunden (PUT). Damit ist RING XP 10- bis 20-mal schneller als Amazon S3 Express One Zone und 50- bis 100-mal schneller als Standard-Amazon-S3 – und liegt im selben Bereich wie hardwarezentrierte (nicht softwaredefinierte) All-Flash-Dateisysteme, die oft teurer sind. Wir halten RING XP daher für die schnellste Objektspeicherlösung der Welt – und damit für die ideale Wahl für KI-Anwendungen zum Training und zur Feinabstimmung von Modellen. Technische Details zu RING XP RING XP basiert auf dem bewährten verteilten Software-Stack RING von Scality. Es bietet alle umfassenden Fähigkeiten des Standard-RING in puncto Skalierbarkeit (in mehreren Dimensionen), Datenbeständigkeit, Hochverfügbarkeit, Selbstheilung und vereinfachtem Systemmanagement im großen Maßstab. Die Bausteine von RING XP sind: Hochleistungs-Objektspeicher-API Ideales Ziel für KI-Anwendungen, -Tools und -Dateisysteme über einfache Objekt-APIs Nahezu unbegrenzter, flacher Namespace = erhebliche Vereinfachung gegenüber Dateisystemen und ideal für KI-Anwendungen nach Cloud-nativen Designprinzipien RING-Speicher-Stack Verteiltes Scale-out-System ohne Single Point of Failure für Hochverfügbarkeit und Wachstum in mehreren Dimensionen Alle Vorteile von RING für hohe Datenbeständigkeit (Erasure Coding, Replikation, Selbstheilung und mehr) Optional: reduzierte Beständigkeitsrichtlinien für maximale Performance bei kleinen Objekten (ideal für Scratch-Speicher) RING-Software auf AMD-EPYC™-Serverplattformen mit reinem NVMe-Flash Referenzplattformen von HPE, Supermicro, Dell & Lenovo zum Start Der bewusste Verzicht auf API-Funktionen zugunsten extremer Performance Scality-Kunden, die in KI-Projekte investieren, berichten uns, dass sie sich in einem Wettlauf um extreme Performance befinden – wie Amazon dem Markt mit S3 Express One Zone gezeigt hat – und dass der richtige Kompromiss für diese Anwendungen darin besteht, unnötige API-Funktionen und Ballast zugunsten niedriger Latenz und hohen Durchsatzes zu streichen. Allerdings ist Amazon mit S3 Express One Zone unserer Ansicht nach nicht weit genug gegangen und lässt seine Nutzer mit einem schwachen Kompromiss zurück, der keine ausreichenden Performance-Gewinne bringt. Mit RING XP gehen wir noch weiter, indem wir den Objekt-Stack vereinfachen und Funktionen entfernen, die üblicherweise auf einer höheren Ebene des Stacks ausgeführt werden. So pflegt etwa jedes Data-Lake-Managementsystem (oder Data Lakehouse) eine indexierte Sicht auf alle Daten des gesamten Datensatzes. Deshalb haben wir uns entschieden, das Auflisten von Objekten aus RING XP zu entfernen, da es eine unnötige Doppelung von Funktionalität und Aufwand wäre. Man kann sich RING XP als unbegrenzt skalierbares, verteiltes Datenspeichersystem vorstellen, das über ein vollständig geroutetes TCP/IP-Netzwerk adressierbar ist und flexibel und effizient mit Objekten von wenigen Hundert Bytes bis zu Gigabytes und mehr umgeht. Die Objektspeicher-API von RING XP ist ein einfacher, schneller, REST-basierter Connector, der für anspruchsvolle KI-Workloads mit kleinen Objekten optimiert ist. Sie ist zustandslos, schlank und hoch skalierbar und bietet eine flexible API für die Interaktion mit RING XP über die Befehle GET, PUT, HEAD und DELETE. Weil sie so schlank ist und wenig Ressourcen benötigt, lässt sie sich auf Anwendungsservern, direkt auf den Speicherknoten oder sogar auf dedizierten Proxy-Servern in einer disaggregierten Bereitstellung einsetzen. Der Connector bietet zwei Möglichkeiten zum Speichern und Abrufen von Daten (per Schlüssel und per Pfad), damit Entwickler flexibel wählen können, was zu ihren Designmustern passt. Für Anwendungen, die den vollen Umfang und die Funktionalität der kompletten Amazon-S3-API benötigen, bietet RING eine umfassende Implementierung. Für extreme Performance ist die Objektspeicher-API von RING XP die richtige Antwort auf die Anforderungen von KI-Anwendungen. Patentierte Architektur Im Kern ermöglicht RING XP Zugriffslatenzen im Mikrosekundenbereich durch mehrere zentrale Innovationen. Alle sind geschützt durch das Kernpatent von Scality (auf Englisch): DHT mit niedriger Latenz: Unsere Architektur bildet eine verteilte Hashtabelle über die Speicherknoten und gewährleistet so garantierte, begrenzte Zugriffszeiten ohne zentrale Datenbank. Das beseitigt die typischen Engpässe zentralisierter Architekturen. O(1)-Zugriff: Im Normalbetrieb (ohne Störungen) speichern die Zugriffsknoten die gesamte Topologie im Cache und ermöglichen so O(1)-Zugriff auf jedes Objekt im System – ein Beitrag zu unserer niedrigen Latenz. Shared-Nothing-Architektur: Das System nutzt eine Shared-Nothing-Architektur und verteilt Daten dennoch per Striping über mehrere Server und Festplatten. Das maximiert die Performance durch Lastverteilung und vermeidet Single Points of Failure. Späte Materialisierung: Diese Technik sorgt dafür, dass Netzwerkoperationen für IO-Anfragen zuerst auf den Arbeitsspeicher oder schnellen Metadaten-Flash treffen. Das optimiert die Performance (Latenz), da die zur Datenspeicherung genutzten Laufwerke von allen Nicht-Datenoperationen abgeschirmt werden. Mit NVMe-Flash auf der Speicherebene wird der Datenzugriff zusätzlich beschleunigt, sodass die Antwortzeiten über den gesamten IO-Stack hinweg im Mikrosekundenbereich bleiben. Die Architektur erreicht Latenzen im Mikrosekundenbereich vom Software-Stack bis zum physischen Speichermedium, wie dieses Diagramm zeigt: Flexible Richtlinien für die Datenbeständigkeit Wie oben beschrieben, bildet der RING-Stack die Basis von RING XP. Damit stehen RING-XP-Nutzern alle Stärken von RING in puncto Datenbeständigkeit und Sicherung der Datenintegrität zur Verfügung. Eine extrem hohe Datenbeständigkeit wird durch Richtlinien erreicht, die Erasure Coding (optimal für große Objekte), Datenreplikation (optimal für kleine Objekte), mit jedem Objekt gespeicherte Prüfsummen (mit aktiver Bit-Rot-Erkennung) zur Sicherung der Datenintegrität sowie Selbstheilung nach Komponentenausfällen (Festplatten oder ganze Speicherserver) umsetzen. Mit diesen Mechanismen erreicht RING eine Datenbeständigkeit von 14 Neunen. Im klassischen High-Performance Computing (HPC) wurde Scratch-Speicher als temporärer Hochgeschwindigkeitsspeicher für Dateien genutzt, die häufig überschrieben oder gelöscht werden (und sich in manchen Fällen bei Bedarf schnell neu berechnen lassen). Das gilt auch für KI-Anwendungen, etwa für Zwischendaten beim Modelltraining. Bei KI-Daten aus kleinen Objekten verzichten manche Anwendungen auf extrem hohe Datenbeständigkeit zugunsten der bestmöglichen Performance – also der niedrigsten Latenz. RING XP lässt sich daher in verschiedenen Modi konfigurieren, passend zu geschäftlichen und Performance-Anforderungen: Bei hohen Anforderungen an Beständigkeit (Redundanz): RING XP kann mit einem dedizierten Datenschutzschema für kleine Objekte konfiguriert werden, das Replikation auf Objektebene nutzt. So werden effizient Replikate der Daten erstellt statt Erasure Coding einzusetzen, das sich in der Regel besser für große Objekte eignet. Optional für Scratch-Speicher: RING XP kann ohne Datenredundanz konfiguriert werden, sodass die Optimierung ganz auf maximale Performance kleiner Dateien mit absolut minimaler Latenz ausgerichtet ist. Lizenzierung und Plattformunterstützung von RING XP Ziel von Scality ist es, unseren Kunden den größtmöglichen Nutzen aus RING XP für ihre Hochleistungs-KI-Anwendungen zu ermöglichen. Deshalb haben wir dasselbe Lizenzmodell wie für RING beibehalten. Die Lizenzierung erfolgt weiterhin pro nutzbarem TB im Rahmen eines Subskriptionsmodells über 1, 3 oder 5 Jahre – zum selben Preis wie für Standard-RING-Konfigurationen. Es gibt also keinen Preisunterschied zwischen Standard-RING und RING XP. Scality-RING-Kunden haben sofort Zugriff auf RING XP und können die Vorteile seiner extremen Performance voll nutzen, indem sie die Software auf einer der unterstützten AMD™-basierten Referenzplattformen von Lenovo, Supermicro, Dell und HPE bereitstellen. Kontaktieren Sie Scality für alle Details zu Preisen und Plattformunterstützung.
