Warum App-Entwickler Scality RING + RING XP für die Optimierung ihrer KI-Pipelines lieben werden

2

Während KI-Technologie Branchen weiter verändert, stehen Entwickler vor wachsenden Anforderungen an Geschwindigkeit, Skalierbarkeit und Zuverlässigkeit ihrer KI-Pipelines. Im Zentrum dieser Pipelines steht die Dateninfrastruktur – ein entscheidender Faktor, der Innovation entweder beschleunigt oder ausbremst. 

Hier kommen Scality RING und RING XP ins Spiel – eine leistungsstarke Kombination, die beispiellose Flexibilität und Performance für KI-Workloads im großen Maßstab bietet. Mit der multidimensionalen Skalierung von Scality RING  und der extremen Performance von RING XP erhalten Entwickler den Speicher, den sie brauchen, um mit sich rasant entwickelnden KI-Anwendungen Schritt zu halten. Sehen wir uns an, wie das funktioniert.

Scality RING liefert die grundlegenden Fähigkeiten, um KI-Data-Lakes in riesigem Maßstab Wirklichkeit werden zu lassen. RING XP (eine All-Flash-Konfiguration von RING) hebt die Performance auf ein bisher unerreichtes Niveau mit Antwortzeiten im Mikrosekundenbereich für kleine Objektdaten (4 KB) und beschleunigt so Training und Feinabstimmung von KI-Modellen. Nutzen Sie beide, und Sie können das volle Potenzial der KI über die gesamte Pipeline hinweg entfesseln.

Scality RING: der Goldstandard für Data Lakes in anspruchsvollen Branchen

Scality RING ist ideal für Kunden, die resiliente, funktionsreiche Datenpipelines aufbauen möchten – ohne auf einfache Skalierbarkeit oder die Flexibilität zu verzichten, sich an ständig neue Anforderungen anzupassen. 

RING hat sich bei Kunden aus unterschiedlichsten kritischen Branchen als grundlegender Data Lake für KI und Analytics etabliert, darunter:

Finanzdienstleistungen 

• Große US-Bank: Data Lake für KI-gestützte Betrugserkennung
• Führender US-Versicherer: Data Lake für die automatisierte Schadenbearbeitung

Verkehr und Forschung

• Raumfahrtforschungsagentur: Data Lake für Bilder aus Erdbeobachtung, Astronomie und Orbitographie 
• Raumfahrtagentur: Data Lake für Trägerraketenkonfigurationen und Telemetrie
• Führender Automobilhersteller: Data Lake für Technologien zur Kollisionsvermeidung
• Europäischer Bahnbetreiber: Data Lake für Wartungsupdates in Echtzeit 
• Globaler Reisedienstleister: Data Lake zur Analyse von Reisesuchmustern 

Life Sciences und Genomiklabore

• Mehrere Genomiklabore: Data Lake für Genomsequenzierung und Forschung 
• US-Pharmaunternehmen: Data Lake für die Automatisierung biopharmazeutischer Forschung 

Behörden und öffentlicher Sektor

• Mehrere staatliche Nachrichtendienste: Data Lake für forensische Kriminaldaten  
• Militär- und Verteidigungsbehörden: Data Lakes in streng geheimen Behörden in den USA, Europa, dem Nahen Osten und Asien

Diese Bandbreite an Kunden zeigt, wie Scality RING die komplexen KI-Workflows von Branchen mit strengen (und sich ständig weiterentwickelnden) Anforderungen an Performance, Skalierbarkeit und Sicherheit unterstützt.

Scality RING im Einsatz: das Genomiklabor von SeqOIA

Ein Paradebeispiel für die Wirkung von RING ist der Einsatz bei SeqOIA, einem von nur zwei nationalen Laboren in Frankreich, die auf die Sequenzierung ganzer Genome spezialisiert sind, um die Forschung voranzubringen und bessere Ergebnisse für Patienten mit seltenen Krankheiten und Krebs zu ermöglichen.

Mit RING beschleunigt das Hochdurchsatz-Genomiklabor von SeqOIA die Analyse genetischer Daten im Petabyte-Bereich erheblich – und verbessert so Geschwindigkeit und Präzision von Diagnostik und Gesundheitsversorgung. Für Anwendungsentwickler in der Genomik und anderen datenintensiven Bereichen bedeuten die Fähigkeiten von RING ein effizienteres Datenmanagement für komplexe Forschungsprojekte.

Fazit: RING hat sich als ideales Repository für KI-Data-Lakes bewährt

Unsere Kunden haben einen gemeinsamen Bedarf, der die modernen Anforderungen an Data Lakes widerspiegelt – gerade mit dem Aufstieg von KI und Analytics. Diese Anforderungen entsprechen direkt den Fähigkeiten und Stärken von RING:

• Data Lakes müssen Daten aus mehreren externen Repositorys zusammenführen 

→ RING bietet ein einziges skalierbares Repository mit hohem Durchsatz für jede Art unstrukturierter Daten und kann auf enorme Kapazitäten wachsen – Dutzende bis Hunderte Petabytes, teils bis in den Exabyte-Bereich

• Datenfilterung und -bereinigung, bevor die Daten von KI-Tools analysiert und verarbeitet werden können → RING bietet flexible und schnelle Performance für Datenzugriff und -verarbeitung
  
• Gewährleistung von Datensicherheit und Datenschutz für sensible aggregierte Daten
  → RING bietet CORE5-Cyberresilienz mit sicherer Mandantenfähigkeit und Unveränderlichkeit
  
• Datenanreicherung und Vektordaten, gespeichert in Objektmetadaten
  → RING bietet anwendungserweiterbares Metadaten-Tagging, nutzbar für die direkte Suche sowie für neue Vektordatenbanken und Techniken der Retrieval-Augmented Generation (RAG)

RING unterstützt all diese Fähigkeiten durch seine zugrunde liegende ultraflexible Architektur, die in mehreren Dimensionen skaliert, um ein möglichst breites Spektrum an Anwendungs- und Workload-Anforderungen abzudecken.

Angesichts des Hypes um All-Flash-Speicherlösungen sei erwähnt, dass die genannten Kunden hybride Speicherserver (Flash und HDD gemischt) einsetzen und dennoch hohe Durchsatzraten erzielen.

Konkret erreicht der Data Lake der Bank zur Betrugserkennung derzeit einen Lesedurchsatz von 80 GB/s pro Standort, also 160 GB/s Gesamtdurchsatz über die Standorte hinweg, um einen großen Splunk-Analytics-Cluster zu bedienen. Der Reisedienstleister nimmt 1 Petabyte pro Tag für seine KI- und Analytics-Anwendungen in RING auf.

Neben Splunk nutzen diese Kunden auch erfolgreich eine Vielzahl von KI-Tools und Anwendungen von Partnern (ISVs), um Daten aus dem RING-Data-Lake zu analysieren, darunter Weka, Dremio, Presto, Trino, SPARK, Cloudera, HPE Pachyderm, Elastic, Cribl und weitere. 

Bei so vielen zufriedenen RING-Data-Lake-Kunden weltweit bleibt die Frage: Welche letzte Komponente fehlt, um ihre Speicheranforderungen für KI-Datenpipelines vollständig zu erfüllen?

Hier kommt Scality RING XP ins Spiel: eXtreme Performance für KI-Workloads

Die Kombination von RING XP, dem schnellsten Objektspeicher der Welt, mit RING ermöglicht Anwendungsentwicklern beispiellose Antwortzeiten im Mikrosekundenbereich für kleine Objektdaten (4 KB oder kleiner) – und macht ihn damit zum idealen Ziel für KI-Tools, selbst entwickelte Anwendungen und leistungsoptimierte Dateisysteme für das Training von KI-Modellen.

Mit RING XP profitieren IT-Verantwortliche und KI-Engineers weiterhin von den klaren Vorteilen, die RING-Objektspeicher für KI-Data-Lakes bietet: Skalierbarkeit, Sicherheit und niedrige Gesamtbetriebskosten. Anwendungsentwickler behalten unbegrenzte flache Namespaces und API-basierten Speicherzugriff – das passt nahtlos zu den heutigen zustandslosen, servicebasierten Anwendungsarchitekturen.

RING XP setzt gezielt dort an, wo eXtreme Performance bei kleineren „heißen“ Objektdaten gefragt ist. Training und Feinabstimmung von KI-Modellen bedeuten in der Regel die Verarbeitung von Millionen bis Milliarden kleiner Objekte (wenige KB und kleiner). 

Für diese KI-Anwendungen mit extremen Performance-Anforderungen liefert RING XP, eine spezielle Konfiguration von Scality RING, Zugriffslatenzen im Mikrosekundenbereich für Objekte in KB-Größe. Wir halten RING XP für die erste und einzige Speicherlösung, die Latenzen deutlich unter 1 Millisekunde über eine Objektspeicherschnittstelle liefert.

Was genau ist RING XP?

Aus Softwaresicht basiert es im Kern auf unserem bewährten RING-Software-Stack mit:

• leistungsstarkem Objektspeicher-Connector mit schlanken Objekt-APIs 
  • einem idealen Ziel für KI-Anwendungen, -Tools und -Dateisysteme über eine einfache Objekt-API
    
• leistungsoptimiertem RING-Speicher-Stack
  • allen Vorteilen der Datenbeständigkeit von RING (EC, Replikation, Integrität, Selbstheilung)
  • zusätzlich ultraeffizienten Beständigkeitsrichtlinien für extremste Performance-Anforderungen, etwa für Scratch-Speicher
    
• RING-Software auf AMD-EPYC-Serverplattformen mit reinem NVMe-Flash
  • zum Start unterstützt auf acht verschiedenen Referenzplattformen von Herstellern wie Lenovo, Supermicro, Dell und HPE
  • derselben kapazitätsbasierten Subskriptionslizenzierung wie bei RING, ohne zusätzliche Kosten oder Gebühren für RING XP

Zur Einordnung der Performance: RING XP liefert niedrigere Latenzen als die schnellsten heutigen Public-Cloud-Objektspeicherangebote:

• Standard-Cloud-Objektspeicher Amazon Web Services (AWS) S3: Liefert Latenzen zwischen 10 und 50 Millisekunden (auf Englisch) (nicht deterministisch oder durch ein SLA begrenzt, möglicherweise höher).
  
• Amazon S3 Express One Zone (auf Englisch): AWS führte Ende 2023 eine schlankere (weniger funktionsreiche, nicht S3-kompatible) Objektschnittstelle namens S3 Express ein. Im Gegenzug für den reduzierten Funktionsumfang verspricht sie Zugriffslatenzen im „einstelligen Millisekundenbereich“.
  

Scality RING XP erreicht Lesezugriffslatenzen von 500 Mikrosekunden und Schreibzugriffslatenzen von 700 Mikrosekunden bei 4-KB-Objekten. 

Ein kurzer Rückblick: wie sich Amazon S3 für niedrigere Latenzen weiterentwickelt hat

2023 führte AWS S3 Express One Zone als schnellere Option mit niedrigerer Latenz für KI-Entwickler ein. Die Standard-S3-API war so funktionsreich geworden, dass sie zusätzlichen Overhead im S3-Stack verursachte und die Performance beeinträchtigte. 
Um die Latenz zu verbessern, nahm AWS erhebliche Anpassungen an der S3-Express-API vor, etwa:

Neue Directory-Bucket-Struktur: Anders als Standard-S3-Buckets arbeitet S3 Express mit Directory Buckets – einem optimierten Design, das die Latenz senkt und hochfrequente Zugriffe unterstützt.

Sitzungsbasierte Authentifizierung: Während die Standard-S3-Authentifizierung bei jedem API-Aufruf erfolgt, um sicheren Zugriff zu gewährleisten, bündelt S3 Express die Authentifizierung auf Sitzungsebene, um wiederholte Authentifizierungen zu minimieren und die Antwortzeiten insgesamt zu verbessern.

RING XP vs. All-Flash-Lösungen für Dateispeicher: was uns unterscheidet

Stellen Sie Anbietern von Dateisystemen bei der Bewertung von Speicherlösungen eine entscheidende Frage: Wie messen sie Performance? All-Flash-Dateispeicherlösungen stammen sowohl von etablierten Riesen als auch von agilen Start-ups, und jeder misst Performance anders.

In der Regel berichten Anbieter von Dateisystemen Performance-Kennzahlen über klassische Dateischnittstellen wie NFS, teils mit begrenzter Kompatibilität zu Objektspeicher. Latenzmessungen für Objektspeicherschnittstellen legen die Anbieter jedoch oft nicht offen – stattdessen heben sie die niedrige Latenz über Dateisystem-APIs hervor.

Dateisystemschnittstellen können niedrige Latenzen erreichen, typischerweise im Bereich von Hunderten Mikrosekunden – ähnlich wie das neue RING XP (im Bereich von Hunderten Mikrosekunden). Unsere Messungen erfolgen jedoch direkt über eine Objektspeicherschnittstelle. Wir sind überzeugt, dass Dateisysteme über ihre Objektspeicher-APIs nicht an die niedrigen Latenzen von RING XP heranreichen, da hierbei in der Regel zusätzliche Antwortzeit entsteht.

Der Unterschied? RING XP bietet die einzigartige Kombination aus Skalierbarkeit und ultraniedriger Latenz über eine eigens entwickelte Objektspeicherschnittstelle mit klaren Vorteilen.

Warum Objektspeicher mit RING + RING XP für KI-Entwickler optimal ist

Objektspeicher bietet modernen Anwendungen erhebliche Vorteile. Sein flacher, einheitlicher Namespace ermöglicht unbegrenzte Skalierbarkeit, während der API-basierte Zugriff ideal zu containerisierten Architekturen und zustandslosen, Microservice-basierten Anwendungen passt. 

RING XP hebt diese Vorteile auf die nächste Stufe. Mit seinem riesigen 160-Bit-Adressraum – der mehr eindeutige Adressen ermöglicht, als es Atome im Universum gibt – bietet RING XP Entwicklern grenzenlose Skalierbarkeit ohne Verzeichnisbeschränkungen oder Leistungseinbußen. Damit eignet es sich ideal für datenintensive KI-Anwendungen, bei denen Speichergrenzen und Engpässe schlicht keine Option sind.

Objektspeicher vereinfacht zudem das Datenmanagement. Sie müssen sich keine Gedanken über Einschränkungen der Verzeichnisstruktur oder Performance-Engpässe machen, wenn Dateien in einem einzigen Verzeichnis liegen. RING XP ermöglicht Entwicklern datenintensive Anwendungen ohne strukturelle Grenzen und unterstützt skalierbare, API-gesteuerte Workflows, die den Zugriff vereinfachen und die Flexibilität erhöhen. 

Aufbauend auf den grundlegenden Fähigkeiten von Scality RING erfüllt RING XP mühelos die extremen Performance-Anforderungen von KI-Workloads. Unternehmen können jetzt nahtlos eine leistungsstarke, skalierbare Speicherlösung im bewährten Scality-Ökosystem nutzen – damit KI-Pipelines schneller und effizienter laufen als je zuvor. Eine robuste Speichergrundlage mit der Flexibilität und Geschwindigkeit, die für zukunftsfähige, datengetriebene Spitzenlösungen nötig sind – was gibt es daran nicht zu lieben?

---

Mehr erfahren

Produktübersicht RING
RING für KI-Data-Lakes
RING XP: eXtreme Performance für KI-Workloads

Blog:  Wie Scality RING XP 20-mal schneller ist als Amazon S3 Express One Zone