Vom Datensumpf zum KI-fähigen Data Lakehouse: wie Scality RING + Starburst Erkenntnisse erschließen

4

Von Data Warehouses zu Lakehouses: Jeder Entwicklungsschritt in der Datenarchitektur hat ein Problem gelöst und zugleich ein neues geschaffen.

Die Datenarchitektur hat seit der Blütezeit klassischer Data Warehouses einen weiten Weg zurückgelegt. Diese Altsysteme haben ihren Zweck erfüllt – waren aber nicht für die Komplexität, Skalierung und Geschwindigkeit gebaut, die die heutige, von KI und Analysen geprägte Welt verlangt.

Klassische Data Warehouses – Anfang der 2000er-Jahre:

✅ Strukturiert, zuverlässig, optimiert für Reporting

❌ Starr, teuer und nicht in der Lage, die Flut unstrukturierter/halbstrukturierter Daten zu bewältigen

Data Lakes – Big-Data-Ära:

✅ Riesige, kostengünstige Repositorys zum Speichern von Rohdaten jeder Art

❌ Wurden oft zu „Datensümpfen“ mit schwacher Governance, schlechter Leistung und eingeschränkter Unterstützung für Echtzeitanalysen

Data Lakehouses – moderne hybride Ära (Warehouses + Lakes):

✅ Vereinen Governance und Schema von Warehouses mit der Flexibilität und Skalierung von Lakes

❌ Noch in der Reifephase, mit Herausforderungen bei Konsistenz, Leistung und unternehmensweiter Einführung

In Teil 1 unserer KI-Blogserie haben wir die zentralen Konzepte hinter dem heutigen KI-Boom aufgeschlüsselt, die Begriffe geklärt und den Hype entzaubert – in Eine Einführung in die Konzepte der KI: ML, LLMs, DL, NLP, GenAI und der Aufstieg von RAG (auf Englisch). Teil 2 geht den nächsten Schritt und zeigt, wie Scality RING + Starburst unübersichtliche, verteilte Daten in ein solides Fundament für KI verwandeln.

Mit der Beschleunigung von KI- und Machine-Learning-Workloads brauchen Unternehmen Datenumgebungen, die über die Kompromisse früherer Architekturen hinausgehen – und Skalierung, Governance und Echtzeitzugriff so vereinen, dass Daten wirklich KI-bereit werden.

Genau hier kommen Scality RING, eine massiv skalierbare, unveränderliche Objektspeicherplattform, und Starburst, eine moderne SQL-basierte Query-Engine, zusammen und bieten einen praktikablen Weg, Data Lakes KI-bereit zu machen. Gemeinsam bilden sie eine validierte Architektur, die den Datenwildwuchs im Unternehmensmaßstab in schnelle, abfragbare Erkenntnisse verwandelt.

Die meisten Blogs bleiben bei der Theorie stehen. Dieser geht weiter. Wir führen Sie Schritt für Schritt durch die Integration von Starburst mit Scality RING, das Anlegen von Schemas und das Ausführen von SQL-Abfragen auf echten Daten – und bauen so eine schnelle, flexible und gesteuerte Plattform für KI/ML-Workloads im großen Maßstab.

Bereit, die Ärmel hochzukrempeln?

Was ist Starburst?

Starburst (auf Englisch) ist eine Data-Lakehouse-Plattform, die schnellen, sicheren Zugriff auf Daten bietet, dort, wo sie liegen – in Clouds, On-Premises-Speicher, Datenbanken oder Data Lakes –, ohne sie verschieben oder duplizieren zu müssen. Die Möglichkeit, Daten aus unterschiedlichen Quellen abzurufen und zu analysieren, macht Unternehmen agiler und reaktionsfähiger gegenüber sich ändernden Geschäftsanforderungen und verkürzt die Zeit bis zur Erkenntnis aus Datenanalysen.

Starburst ermöglicht leistungsstarke Abfragen über:

• Strukturierte Daten (z. B. Tabellen, Apache Iceberg, Parquet)
  
• Halbstrukturierte Daten (z. B. JSON, CSV, YAML)
  
• Unstrukturierte Daten (über Metadaten getaggt)
  

Damit ist es ein leistungsstarkes Werkzeug, um den Datenzugriff über Umgebungen hinweg zu vereinheitlichen. Und in Kombination mit Scality RING wird es zu einer unternehmensreifen Plattform für Analysen und KI, die Skalierung, Leistung und Sicherheit gerecht wird.

Von Scality validiertes Design

Starburst wurde als validiertes Design von Scality (auf Englisch) zertifiziert. Dabei werden Starburst und Scality RING in einer Laborumgebung bereitgestellt, die Produkte auf planbare Leistung abgestimmt und Workloads typischer Kundenszenarien getestet. Kunden profitieren von Integrationsanleitungen und einer passenden Dimensionierung ihrer Plattform – für ein reibungsloses Onboarding und eine planbare Leistung.

Warum Scality RING + Starburst?

Scality RING ist nicht nur eine Objektspeicherplattform – es ist ein Fundament für Datenanalysen der nächsten Generation und KI/ML-Workloads. In Kombination mit Starburst kommen mehrere leistungsstarke Fähigkeiten zusammen:

Unstrukturierte und halbstrukturierte Daten durchsuchen

SQL kann unstrukturierte Rohdaten zwar nicht direkt abfragen, doch das Metadaten-Tagging auf RING ermöglicht es, unstrukturierte Inhalte zu organisieren und zu klassifizieren – etwa Dokumente, Bilder oder Logdateien –, sodass sie auffindbar und nutzbar werden. Starburst kann Metadaten zusammen mit strukturierten und halbstrukturierten Daten abfragen und bietet so einen umfassenden Überblick.

Strukturierte Abfragen im großen Maßstab

Starburst bringt leistungsstarke SQL-Abfragen auf strukturierte Daten in RING. Denken Sie an Iceberg-Tabellen, ORC-Dateien und Parquet – schnell und im großen Maßstab abfragbar, selbst über Petabytes an Daten hinweg.

Treibstoff für das Training von KI-Modellen

Jeder KI/ML-Workflow beginnt mit einem Datensatz. Je besser Daten organisiert und gesteuert sind, desto genauer werden Ihre Modelle. Mit Starburst + RING können Sie:

• Tabellen und Schemas für Ihre Daten anlegen
  
• SQL-Abfragen ausführen, um die richtigen Trainingsdatensätze zu extrahieren
  
• Daten anreichern oder labeln, bevor sie in KI-Pipelines fließen

Und das Beste: Sie müssen die Daten nicht verschieben.

Integrierte Governance und Zugriffskontrollen

Sicherheit und Data Governance sind nicht verhandelbar, insbesondere bei sensiblen oder regulierten Daten. Scality RING unterstützt granulare Zugriffskontrollen und Berechtigungen. Starburst respektiert und erweitert diese Kontrollen. So können Sie rollenbasierte Zugriffsrichtlinien in Ihrem gesamten Data Lake durchsetzen.

In der Praxis bedeutet diese Governance, dass Sie:

• Datenzugriff für bestimmte Teams oder Benutzer freigeben
  
• Die Sichtbarkeit auf Ebene von Datensätzen oder Metadaten steuern
  
• Ihr Compliance-Team zufriedenstellen

So funktioniert es: ein kurzer Überblick

Starburst für Abfragen auf RING einzurichten, ist unkompliziert.

Schritt 1: Starburst mit RING verbinden – als Objektspeicher-Datenquelle.
Legen Sie im Ordner /etc/catalogs eine neue Katalog-Konfigurationsdatei an und fügen Sie folgende Konfiguration hinzu:

# etc/catalog/s3.properties
connector.name=hive
hive.metastore=file
hive.s3.aws-access-key=RING_ACCESS_KEY
hive.s3.aws-secret-key=RING_SECRET_KEY
hive.s3.endpoint=RING_S3_ENDPOINT
hive.s3.path-style-access=true
hive.s3.ssl.enabled=true
hive.s3.max-connections=100
hive.non-managed-table-writes-enabled=true
hive.s3select-pushdown.enabled=false

Schritt 2: Schemas und Tabellen definieren – für strukturierte/halbstrukturierte Datensätze.

CREATE SCHEMA s3.mydata
WITH (location = ‘s3://your-bucket/path/to/data’);

CREATE TABLE s3.mydata.mytable (
id BIGINT,
name VARCHAR,
value DOUBLE
)
WITH (
external_location = ‘s3://your-bucket/path/to/data/mytable/’,
format = ‘ORC’
);

Schritt 3: Ihre Daten abfragen. Nutzen Sie SQL-Abfragen, um Daten zu erkunden, zu verknüpfen und Erkenntnisse zu gewinnen.
a. Einfache Abfrage:

SELECT * FROM s3.mydata.mytable LIMIT 10;

b. Verknüpfung mit einer anderen Tabelle:

SELECT
t1.name,
t2.value
FROM s3.mydata.table1 t1
JOIN s3.mydata.table2 t2
ON t1.id = t2.id;

c. Aggregation:

SELECT
date_column,
COUNT(*) as count,
SUM(value) as total
FROM s3.mydata.mytable
WHERE date_column >= DATE ‘2024-01-01’
GROUP BY date_column;

Nutzen Sie getaggte Metadaten, um unstrukturierte Daten für die künftige Nutzung zu organisieren. Mit dieser Architektur kommen Ihre KI-Initiativen schneller in Fahrt – ohne Datenpipelines neu aufzubauen oder Daten über Systeme hinweg zu duplizieren.

Bei den oben beschriebenen Schritten geht es nicht nur um das Einrichten von Abfragen – sondern darum, Ihre rohen, verteilten Daten in ein Fundament zu verwandeln, das KI tatsächlich nutzen kann.

Warum das für KI wichtig ist

Wenn Ihre Geschäftsleitung sagt: „Wir wollen etwas mit KI machen“, ist genau das gemeint. Eine Plattform wie Starburst auf Scality RING erfüllt alle Anforderungen:

✅ Skalierbares, kosteneffizientes Fundament für den Data Lake
✅ Echtzeitanalysen ohne Datenbewegung
✅ Integrierte Governance und Sicherheit
✅ Unterstützung für strukturierte + halbstrukturierte Daten
✅ Metadaten-Tagging für unstrukturierte Daten
✅ Kompatibel mit Trainings-Workflows für KI/ML-Modelle

Für IT-Praktiker ist das mehr als eine Pflichtübung – es ist eine zukunftssichere Strategie. Sie stellen nicht einfach ein weiteres Analysetool bereit, sondern bauen eine Umgebung, in der Daten zum Treibstoff für Innovation werden – bereit für KI heute und anpassungsfähig für das, was kommt.

Alles zusammengeführt

Der Weg von Warehouses über Lakes zu Lakehouses war immer eine Frage der Balance: Struktur vs. Flexibilität, Kosten vs. Leistung, Governance vs. Freiheit.

Mit der validierten Integration von Starburst und Scality RING müssen sich Unternehmen nicht entscheiden. Sie können verstreute Daten vereinen, im großen Maßstab abfragbar machen und dabei Governance und Sicherheit von vornherein integrieren – und so eine komplexe Datenlandschaft in eine KI-fähige Plattform verwandeln.

Nächste Schritte

Wenn Sie bereit sind, von der Theorie zur Praxis überzugehen:

• Entdecken Sie Teil 1 unserer KI-Serie mit einer grundlegenden Einführung in KI-fähige Infrastruktur (auf Englisch).
• Setzen Sie Teil 2 in die Praxis um, indem Sie diesem validierten Design zur Integration von Starburst mit Scality RING folgen.
• Nehmen Sie Kontakt mit unserem Team auf, um zu sehen, wie das in Ihre KI-Roadmap passt, und um Ihre eigenen Initiativen zu beschleunigen.
  

Die Zukunft der KI wird auf den Datenfundamenten gebaut, die wir heute legen. Mit Starburst und Scality halten Sie nicht nur Schritt – Sie gehen voran.

Weitere KI-Ressourcen:

Eine Einführung in die Konzepte der KI: ML, LLMs, DL, NLP, GenAI und der Aufstieg von RAG (auf Englisch)

Schluss mit einfältigen Chatbots: die Lösung aus RAG + Scality RING (auf Englisch)

Unternehmens-KI in der Praxis: 5 reale Anwendungsfälle auf Basis von Objektspeicher

KI kann nicht auf Ihre Daten warten – wie Hammerspace und Scality GPUs versorgen

Mehrdimensionale Skalierung: 10 unverzichtbare Dimensionen der Datenspeicherung für Ihre KI-Workloads (auf Englisch)

Das KI-Speicherproblem, mit dem niemand gerechnet hat – und wie Scality RING es bereits gelöst hat