4 L’entreposage de données (data warehousing) consiste à collecter, stocker et gérer de grandes quantités de données issues de sources variées dans un référentiel centralisé. Un entrepôt de données est conçu pour soutenir les activités de business intelligence (BI), comme le reporting, l’analyse et l’exploration de données, en offrant une vue unifiée des données d’une organisation. La première étape de l’entreposage de données consiste à extraire les données de multiples sources : bases de données relationnelles, tableurs, applications CRM, données générées par des machines, réseaux sociaux et données web. Les données sont ensuite transformées dans un format standardisé et chargées dans l’entrepôt de données. Les formats courants sont CSV, JSON, Parquet, ORC et Avro. Une fois dans l’entrepôt, les données peuvent servir à diverses activités de BI pour mieux comprendre les opérations, les clients, les performances et les autres indicateurs métier clés d’une organisation. L’entreposage de données est couramment utilisé par les grandes entreprises : il offre un moyen structuré et efficace de gérer et traiter de grands volumes de données, pour prendre des décisions métier éclairées fondées sur les données. Ce que Snowflake apporte Snowflake est une entreprise d’entreposage de données dans le cloud qui propose une plateforme pour stocker, gérer et analyser de grandes quantités de données structurées et semi-structurées. Les principales caractéristiques du produit Snowflake sont son évolutivité, sa sécurité et sa facilité d’utilisation. La plateforme est conçue pour gérer des volumes massifs de données, avec la possibilité d’augmenter ou de réduire les ressources selon les besoins, ce qui en fait une solution idéale pour les organisations dont les besoins en données fluctuent. Snowflake met également l’accent sur la sécurité, avec des fonctionnalités comme le chiffrement et l’authentification multifacteur pour protéger les données. Enfin, la plateforme est conçue pour être facile à utiliser, avec une interface conviviale et la possibilité de s’intégrer à de nombreux outils de business intelligence et d’analytique répandus. La capacité de stockage de Snowflake peut aller de quelques téraoctets à plusieurs pétaoctets, selon les besoins et les usages de l’utilisateur. Associer Snowflake au stockage objet sur site Si le cloud public est une option pour de nombreuses entreprises, de plus en plus d’organisations cherchent à rapatrier ou à conserver leurs données et charges de travail sur site, pour des raisons de coût, de sécurité, de souveraineté des données ou autres. En intégrant la puissante solution d’analyse de données de Snowflake à un stockage objet sur site, elles obtiennent des analyses métier en temps réel tout en gardant un contrôle total sur l’emplacement de leurs données. Utiliser Snowflake avec un stockage objet compatible Amazon S3 sur site L’API Amazon S3 est devenue un standard du secteur pour le stockage objet. Les grandes entreprises soumises à des exigences spécifiques de sécurité, de confidentialité et de réglementation peuvent choisir de stocker tout ou partie de leurs données analytiques sur site. Le stockage objet compatible S3 sur site, comme Scality RING et Scality ARTESCA, est un choix naturel, car ces solutions offrent une grande résilience des données et un accès haute performance, à un coût par téraoctet abordable. Snowflake fonctionne sur une infrastructure de cloud public, comme Amazon Web Services (AWS), Microsoft Azure et Google Cloud Platform (GCP). Si l’architecture de Snowflake n’est pas conçue pour fonctionner sur site ou dans un cloud privé, Snowflake prend en charge l’API S3. Snowflake peut donc s’intégrer au stockage compatible S3 sur site de Scality. Il est possible de créer des stages externes (emplacements de stockage des données) et des tables externes sur RING et ARTESCA. Cette capacité étend les fonctionnalités associées aux stages et tables externes à des données situées hors du cloud public, sur site ou en périphérie (edge). Les organisations peuvent établir une connexion sécurisée entre leur stockage Scality sur site et leur compte Snowflake, et charger des données dans Snowflake avec leurs pipelines de données existants. Cette intégration permet aux clients de profiter des capacités d’entreposage de données dans le cloud de Snowflake tout en conservant leurs données dans leur propre environnement, avec davantage de contrôle et de flexibilité sur la gestion de leurs données. Comment connecter Snowflake à votre Scality RING ou Scality ARTESCA sur site Prérequis Pour connecter Snowflake à Scality RING ou ARTESCA, l’endpoint doit être : accessible depuis les ressources de calcul Snowflake dans le cloud public où vous exécutez Snowflake ; configuré pour utiliser des identifiants directs ; configuré pour communiquer en HTTPS avec un certificat SSL valide. Configurer le stockage compatible S3 Pour utiliser un stockage compatible S3 avec Snowflake, vous devez d’abord créer un stage externe qui pointe vers le périphérique de stockage. create or replace stage my_s3compat_stage url='s3compat://my_bucket/my_files/' endpoint='s3.storage.com' credentials=(aws_key_id='1a2b3c' aws_secret_key='4x5y6z') Le stockage compatible S3 ajoute deux nouveaux éléments à la syntaxe de création de stage externe : Préfixe d’URL s3compat : indique à Snowflake qu’il se connecte à un périphérique doté d’une API compatible S3. Le paramètre endpoint : il s’agit du nom de domaine complet qui pointe vers l’endpoint de l’API S3. Notez que seuls les identifiants directs sont pris en charge avec un stockage compatible S3 via des stages externes. Utiliser le stockage compatible S3 Les stages compatibles S3 offrent les mêmes fonctionnalités que les stages externes. Vous pouvez donc copier des données vers et depuis le stage : copy into my_table from @my_s3compat_stage; copy into @my_s3compat_stage/path from my_table; Vous pouvez aussi créer des tables externes sur un stockage compatible S3 pour exécuter des requêtes analytiques sur les données. Les fonctionnalités des tables externes, comme le partage de données, fonctionnent avec les tables externes créées sur des stages compatibles S3. create or replace external table my_ext_table with location = @my_s3compat_stage/files/ auto_refresh = false refresh_on_create = true file_format = (type = parquet) pattern='.*sales.*[.]parquet'; Les tables externes sur stockage compatible S3 présentent les limites suivantes : l’actualisation automatique (auto-refresh) n’est pas prise en charge ; les performances des requêtes varient selon le réseau et les performances du périphérique. Un entreposage de données amélioré : plus de sécurité, moins de coûts Associer le stockage objet Scality sur site à Snowflake offre le meilleur des deux mondes : des capacités modernes d’entreposage de données et une conformité, une sécurité et une maîtrise des coûts solides. Cette approche hybride permet aux grandes entreprises de conserver leurs données sensibles sur site tout en tirant parti de la plateforme cloud-native de Snowflake pour l’entreposage de données — une solution puissante et flexible pour les charges de travail modernes intensives en données.
