1 Data Warehousing bezeichnet das Erfassen, Speichern und Verwalten großer Datenmengen aus verschiedenen Quellen in einem zentralen Repository. Ein Data Warehouse soll Business-Intelligence-Aktivitäten (BI) wie Reporting, Datenanalyse und Data Mining unterstützen, indem es eine einheitliche Sicht auf die Daten eines Unternehmens bietet. Der erste Schritt beim Data Warehousing ist das Extrahieren von Daten aus mehreren Quellen: relationalen Datenbanken, Tabellen, CRM-Anwendungen, maschinell erzeugten Daten und/oder Social-Media- und Webdaten. Anschließend werden die Daten in ein standardisiertes Format umgewandelt und in das Data Warehouse geladen. Gängige Formate sind CSV, JSON, Parquet, ORC und Avro. Sobald die Daten im Warehouse sind, können sie für verschiedene BI-Aktivitäten genutzt werden, um Einblicke in die Abläufe, Kunden, Performance und andere zentrale Geschäftskennzahlen eines Unternehmens zu gewinnen. Data Warehousing wird häufig von großen Unternehmen eingesetzt und bietet eine strukturierte, effiziente Möglichkeit, große Datenmengen zu verwalten und zu verarbeiten – damit Unternehmen fundierte Geschäftsentscheidungen auf Basis datengetriebener Erkenntnisse treffen können. Was Snowflake mitbringt Snowflake ist ein Cloud-basiertes Data-Warehousing-Unternehmen und bietet eine Plattform zum Speichern, Verwalten und Analysieren großer Mengen strukturierter und semistrukturierter Daten. Zu den wichtigsten Produktmerkmalen von Snowflake zählen Skalierbarkeit, Sicherheit und Benutzerfreundlichkeit. Die Plattform ist für riesige Datenmengen ausgelegt und lässt sich nach Bedarf hoch- oder herunterskalieren – ideal für Unternehmen mit schwankendem Datenbedarf. Zudem legt Snowflake großen Wert auf Sicherheit, mit Funktionen wie Verschlüsselung und Multi-Faktor-Authentifizierung zum Schutz der Daten. Und schließlich ist die Plattform auf einfache Bedienung ausgelegt – mit einer benutzerfreundlichen Oberfläche und Integrationen mit zahlreichen gängigen Business-Intelligence- und Analytics-Tools. Die Speicherkapazität von Snowflake reicht je nach Anforderungen und Nutzungsmustern von wenigen Terabyte bis zu mehreren Petabyte. Snowflake mit On-Premises-Objektspeicher kombinieren Die Public Cloud ist für viele Unternehmen eine Option, doch immer mehr Organisationen möchten Daten und Workloads aus Kosten-, Sicherheits-, Souveränitäts- und anderen Gründen zurückholen oder on-premises behalten. Durch die Integration der leistungsstarken Datenanalyselösung von Snowflake mit On-Premises-Objektspeicher erhalten Unternehmen Geschäftseinblicke in Echtzeit und behalten zugleich die volle Kontrolle darüber, wo ihre Daten gespeichert sind. Snowflake mit On-Premises-Objektspeicher nutzen, der mit Amazon S3 kompatibel ist Die Amazon-S3-API hat sich zum Branchenstandard für Objektspeicher entwickelt. Große Unternehmen mit besonderen Anforderungen an Sicherheit, Datenschutz und Regulierung speichern ihre Analysedaten unter Umständen ganz oder teilweise on-premises. S3-kompatibler Objektspeicher on-premises wie Scality RING und Scality ARTESCA ist eine naheliegende Wahl, da diese Lösungen hohe Datenresilienz und leistungsstarken Datenzugriff zu bezahlbaren Kosten pro Terabyte bieten. Snowflake läuft auf Public-Cloud-Infrastrukturen wie Amazon Web Services (AWS), Microsoft Azure und Google Cloud Platform (GCP). Die Architektur von Snowflake ist zwar nicht für den Betrieb on-premises oder in einer Private Cloud ausgelegt, unterstützt aber die S3-API. Daher lässt sich Snowflake mit Scalitys On-Premises-Lösung für S3-kompatiblen Speicher integrieren. Es ist möglich, External Stages (Speicherorte für Daten) und External Tables für RING und ARTESCA anzulegen. Damit lassen sich Funktionen, die mit External Stages und Tables arbeiten, auf Daten außerhalb der Public Cloud erweitern – on-premises oder am Edge. Unternehmen können eine sichere Verbindung zwischen ihrem On-Premises-Speicher von Scality und ihrem Snowflake-Konto herstellen und so Daten über ihre bestehenden Datenpipelines in Snowflake laden. Mit dieser Integration nutzen Kunden die Cloud-Data-Warehousing-Funktionen von Snowflake und behalten ihre Daten dennoch in der eigenen Umgebung – für mehr Kontrolle und Flexibilität beim Datenmanagement. So verbinden Sie Snowflake mit Ihrem On-Premises-System Scality RING oder Scality ARTESCA Voraussetzungen Um Snowflake mit Scality RING oder ARTESCA zu verbinden, muss der Endpunkt: von der Snowflake-Compute-Umgebung in der Public Cloud, in der Sie Snowflake betreiben, erreichbar sein. für direkte Zugangsdaten eingerichtet sein. für HTTPS-Kommunikation mit gültigem SSL-Zertifikat eingerichtet sein S3-kompatiblen Speicher einrichten Um S3-kompatiblen Speicher mit Snowflake zu nutzen, müssen Sie zunächst eine External Stage anlegen, die auf das Speichergerät verweist. create or replace stage my_s3compat_stage url='s3compat://my_bucket/my_files/' endpoint='s3.storage.com' credentials=(aws_key_id='1a2b3c' aws_secret_key='4x5y6z') S3-kompatibler Speicher bringt zwei Neuerungen in der Syntax für das Anlegen einer External Stage: URL-Präfix s3compat – Signalisiert Snowflake, dass eine Verbindung zu einem Gerät mit S3-kompatibler API hergestellt wird. Der endpoint-Parameter – Die vollqualifizierte Domain, die auf den S3-API-Endpunkt verweist. Beachten Sie, dass bei S3-kompatiblem Speicher mit External Stages nur direkte Zugangsdaten unterstützt werden. S3-kompatiblen Speicher nutzen S3-kompatible Stages bieten dieselben Funktionen wie External Stages. Sie können also Daten in die Stage und aus ihr heraus kopieren: copy into my_table from @my_s3compat_stage; copy into @my_s3compat_stage/path from my_table; Sie können auch External Tables auf S3-kompatiblem Speicher anlegen, um analytische Abfragen auf den Daten auszuführen. Funktionen für External Tables wie Data Sharing funktionieren auch mit External Tables auf S3-kompatiblen Stages. create or replace external table my_ext_table with location = @my_s3compat_stage/files/ auto_refresh = false refresh_on_create = true file_format = (type = parquet) pattern='.*sales.*[.]parquet'; External Tables für S3-kompatiblen Speicher unterliegen folgenden Einschränkungen: Auto-Refresh wird nicht unterstützt Die Abfrageleistung hängt von Netzwerk und Geräteleistung ab Besseres Data Warehousing mit mehr Sicherheit und geringeren Kosten Die Kombination aus On-Premises-Objektspeicher von Scality und Snowflake vereint das Beste aus beiden Welten – moderne Data-Warehousing-Funktionen und robuste Datenschutz-Compliance, Sicherheit und Kostenkontrolle. Mit diesem hybriden Ansatz können große Unternehmen sensible Daten on-premises behalten und gleichzeitig die Cloud-native Plattform von Snowflake für Data Warehousing nutzen – eine leistungsstarke, flexible Lösung für moderne datenintensive Workloads.
