9 Der Begriff „Data Lake“ – ein zentrales Repository, das riesige Mengen an Rohdaten in ihrem nativen Format vorhält – existiert erst seit etwa einem Jahrzehnt. Trotz des relativ neuen Begriffs dürften Data Lakes bis 2025 ein jährliches Marktvolumen von 20,1 Mrd. $ erreichen, so Research and Markets (auf Englisch). In der Regel enthält ein Data Lake Daten aus vielen Quellen in unterschiedlichen Formaten – die alle analysiert werden müssen, um geschäftliche Erkenntnisse zu liefern. Immer öfter hören wir „Data Lake“ und „Big Data“ in einem Atemzug. Das ergibt Sinn, denn Big-Data-Analysen brauchen einen riesigen Datenschatz, um Erkenntnisse zu gewinnen. Der Bedarf an flexiblem, skalierbarem Management aller Datenformate Da Data Lakes Daten aus verschiedenen Quellen bündeln, erreichen sie schnell den Petabyte-Bereich und mehr. Dieses Datenvolumen übersteigt die Kapazität herkömmlicher Datenbanktechnologien wie relationaler Datenbankmanagementsysteme (RDBMS), die vor allem für strukturierte Daten entwickelt wurden. Neben einem möglichen Kapazitätsproblem sammeln Data Lakes strukturierte, semistrukturierte und unstrukturierte Daten. Um diese verschiedenen Datentypen flexibel und skalierbar zu verwalten, wurden neue Speichersysteme wie das Hadoop Distributed File System (HDFS) als Speicherlösung für Data Lakes eingesetzt. Doch wie jede Technologie hat auch HDFS seine Grenzen. Ein großer Nachteil von HDFS ist, dass Rechen- und Speicherressourcen beim Skalieren eng gekoppelt sind (weil das Dateisystem auf denselben Maschinen läuft wie die Anwendung). Rechenkapazität und Arbeitsspeicher wachsen gemeinsam, was ziemlich teuer werden kann. Moderner Objektspeicher bietet grundlegende Vorteile für Data Lakes Um die geschäftlichen Erkenntnisse in diesen riesigen Data Lakes voll auszuschöpfen, sind Unternehmen sowohl auf Analysetools als auch auf das Speicher-Repository angewiesen, in dem die Daten liegen – wobei Letzteres wohl am wichtigsten ist. Warum? Weil das Repository Daten aus verschiedenen Quellen mit genau der richtigen Leistung verarbeiten und zugleich in Leistung und Kapazität wachsen können muss, damit die Daten Anwendungen, Tools und Benutzern umfassend zur Verfügung stehen. Auf der Suche nach mehr Skalierbarkeit, Flexibilität und geringeren Kosten entwickelt sich Objektspeicher schnell zum Speicherstandard für Data Lakes. Bei Objektspeicher gibt es keine Obergrenze für das Datenvolumen. Ein weiterer wichtiger Vorteil: Er nimmt alle Arten von Daten auf, ohne dass vordefinierte „Schemata“ nötig sind (wie bei RDBMS, wo Struktur und Beziehungen zwischen Tabellen für komplexe Abfragen vorab festgelegt werden müssen) – das erhöht die Flexibilität. Zudem unterstützen moderne Objektspeichersysteme wie Scality die unabhängige horizontale Skalierung von Kapazität und Leistung – ein großer Vorteil bei umfangreichen Analyseprojekten. Die unabhängige Skalierung liefert bei Bedarf die passende Rechenleistung für die Datenanalyse und senkt die Gesamtkosten einer Data-Lake-Lösung erheblich. Auch Anwendungsanbieter setzen inzwischen auf Objektspeicher, um die Herausforderungen wachsender Datenkapazitäten ihrer Kunden zu lösen. Lösungen wie Splunk unterstützen Objektspeicher jetzt über die SmartStore-Schnittstelle (die die Amazon S3 API nutzt), und Microfocus Vertica bietet den EON-Modus (der ebenfalls S3 nutzt). Diese Lösungen entkoppeln die Rechenebene (Suche) von der persistenten Kapazitätsebene. Das gibt Benutzern mehr Flexibilität und Kosteneffizienz und ermöglicht zugleich deutlich größere Datenmengen für effektivere Analysen. Darüber hinaus ist das Tool-Ökosystem von Apache Spark, das traditionell HDFS als Speicher nutzte, über die Hadoop-kompatible Dateisystemschnittstelle S3A, die die S3 API nutzt, auch mit S3-Objektspeicher kompatibel. Möchten Sie mehr über die Vorteile von Objektspeicher für Data Lakes erfahren? Lesen Sie meinen aktuellen Artikel für Data Center Dynamics (auf Englisch).
