Des marécages de données aux data lakehouses prêts pour l’IA : comment Scality RING + Starburst libèrent la valeur des données d’entreprise

5

Des entrepôts aux lakehouses, chaque étape de l’évolution des architectures de données a résolu un problème tout en en créant un autre.

L’architecture de données (en anglais) a parcouru un long chemin depuis l’âge d’or des entrepôts de données traditionnels. Ces systèmes hérités ont rempli leur rôle, mais ils n’ont pas été conçus pour la complexité, l’échelle et la vitesse qu’exige le monde actuel, piloté par l’IA et l’analytique.

Entrepôts de données traditionnels — début des années 2000 :

✅ Structurés, fiables, optimisés pour le reporting

❌ Rigides, coûteux et incapables de gérer l’afflux de données non structurées et semi-structurées

Data lakes —  ère du big data :

✅ De vastes référentiels à faible coût pour stocker des données brutes de tout type

❌ Souvent devenus des « marécages de données », avec une gouvernance faible, des performances médiocres et une prise en charge limitée de l’analytique en temps réel

Data lakehouses — ère hybride moderne (entrepôts + lacs) :

✅ Ils combinent la gouvernance et le schéma des entrepôts avec la flexibilité et l’échelle des lacs

❌ Encore en maturation, avec des défis de cohérence, de performances et d’adoption à l’échelle de l’entreprise

Dans la première partie de notre série d’articles sur l’IA, nous avons décortiqué les concepts clés à l’origine de l’essor actuel de l’IA — en clarifiant la terminologie et en dépassant le battage médiatique avec Introduction aux concepts de l’IA : ML, LLM, DL, NLP, IA générative et essor du RAG. Cette deuxième partie va plus loin : elle montre comment Scality RING (en anglais) + Starburst transforment des données désordonnées et distribuées en une base solide pour l’IA.

À mesure que les charges d’IA et de machine learning s’accélèrent, les entreprises ont besoin d’environnements de données qui dépassent les compromis des architectures passées — en réunissant échelle, gouvernance et accès en temps réel pour rendre les données réellement prêtes pour l’IA. 

C’est là que Scality RING, une plateforme de stockage objet immuable et massivement évolutive, et Starburst, un moteur de requêtes SQL moderne, s’associent pour rendre les data lakes prêts pour l’IA, de manière concrète. Ensemble, ils forment une architecture validée qui transforme la prolifération des données à l’échelle de l’entreprise en informations exploitables, rapidement interrogeables.

La plupart des blogs s’arrêtent à la théorie. Celui-ci va plus loin. Nous vous guidons pas à pas dans l’intégration de Starburst avec Scality RING, la création de schémas et l’exécution de requêtes SQL sur des données réelles — pour bâtir une plateforme rapide, flexible et gouvernée pour les charges d’IA/ML à grande échelle. 

Prêt à retrousser vos manches ?

Qu’est-ce que Starburst ?

Starburst (en anglais) est une plateforme de data lakehouse qui offre un accès rapide et sécurisé aux données là où elles se trouvent — clouds, stockage sur site, bases de données ou data lakes — sans avoir à les déplacer ni à les dupliquer. Pouvoir accéder à des données de sources variées et les analyser rend les organisations plus agiles et réactives face à l’évolution des besoins métier, et accélère l’obtention d’informations exploitables.

Starburst permet des requêtes hautes performances sur :

• les données structurées (tables, Apache Iceberg, Parquet, par exemple)
  
• les données semi-structurées (JSON, CSV, YAML, par exemple)
  
• les données non structurées (étiquetées via des métadonnées)
  

C’est donc un outil puissant pour unifier l’accès aux données entre les environnements. Associé à Scality RING, il devient une plateforme d’analytique et d’IA prête pour l’entreprise, qui respecte les exigences d’échelle, de performances et de sécurité.

Une application au design validé par Scality

Starburst a été certifié comme design validé par Scality. Ce processus consiste à déployer Starburst et Scality RING en laboratoire, à ajuster les produits pour des performances prévisibles et à tester des charges de travail correspondant à des scénarios clients typiques. Les clients disposent ainsi d’instructions d’intégration et peuvent dimensionner leur plateforme pour une prise en main fluide et des performances prévisibles.

Pourquoi Scality RING + Starburst ?

Scality RING n’est pas seulement une plateforme de stockage objet : c’est une base pour l’analytique de nouvelle génération et les charges d’IA/ML. Intégré à Starburst, il réunit plusieurs capacités puissantes :

Rechercher dans les données non structurées et semi-structurées

Si SQL ne peut pas interroger directement des données brutes non structurées, l’étiquetage par métadonnées sur RING permet d’organiser et de classer les contenus non structurés — documents, images ou fichiers journaux — pour les rendre détectables et utiles. Starburst peut interroger ces métadonnées en même temps que les données structurées et semi-structurées, pour une vue complète.

La puissance des requêtes structurées à grande échelle

Starburst apporte des requêtes SQL hautes performances aux données structurées stockées dans RING. Tables Iceberg, fichiers ORC, Parquet : tout est interrogeable rapidement et à grande échelle, même sur des pétaoctets de données.

Du carburant pour l’entraînement des modèles d’IA

Tout workflow d’IA/ML commence par un jeu de données. Mieux les données sont organisées et gouvernées, plus vos modèles seront précis. Avec Starburst + RING, vous pouvez :

• créer des tables et des schémas sur vos données ;
  
• exécuter des requêtes SQL pour extraire les bons jeux d’entraînement ;
  
• enrichir ou étiqueter les données avant de les injecter dans les pipelines d’IA.

Et surtout, vous n’avez pas besoin de déplacer les données.

Gouvernance et contrôles d’accès intégrés

La sécurité et la gouvernance des données ne sont pas négociables, surtout avec des données sensibles ou réglementées. Scality RING prend en charge des contrôles d’accès et des autorisations granulaires. Starburst respecte et étend ces contrôles, ce qui vous permet d’appliquer des politiques d’accès basées sur les rôles à l’ensemble de votre data lake.

Concrètement, cette gouvernance vous permet de :

• ouvrir l’accès aux données à des équipes ou utilisateurs précis ;
  
• contrôler la visibilité au niveau du jeu de données ou des métadonnées ;
  
• satisfaire votre équipe conformité.

Comment ça marche : aperçu rapide

Configurer Starburst pour interroger les données sur RING est simple.

Étape 1 : connecter Starburst à RING comme source de données de stockage objet.
Créez un nouveau fichier de configuration de catalogue dans le dossier /etc/catalogs, puis ajoutez la configuration suivante :

# etc/catalog/s3.properties
connector.name=hive
hive.metastore=file
hive.s3.aws-access-key=RING_ACCESS_KEY
hive.s3.aws-secret-key=RING_SECRET_KEY
hive.s3.endpoint=RING_S3_ENDPOINT
hive.s3.path-style-access=true
hive.s3.ssl.enabled=true
hive.s3.max-connections=100
hive.non-managed-table-writes-enabled=true
hive.s3select-pushdown.enabled=false

Étape 2 : définir des schémas et des tables sur les jeux de données structurées et semi-structurées.

CREATE SCHEMA s3.mydata
WITH (location = ‘s3://your-bucket/path/to/data’);

CREATE TABLE s3.mydata.mytable (
id BIGINT,
name VARCHAR,
value DOUBLE
)
WITH (
external_location = ‘s3://your-bucket/path/to/data/mytable/’,
format = ‘ORC’
);

Étape 3 : interroger vos données. Utilisez des requêtes SQL pour explorer, joindre et extraire des informations.
a. Requête simple :

SELECT * FROM s3.mydata.mytable LIMIT 10;

b. Jointure avec une autre table :

SELECT
t1.name,
t2.value
FROM s3.mydata.table1 t1
JOIN s3.mydata.table2 t2
ON t1.id = t2.id;

c. Agrégation :

SELECT
date_column,
COUNT(*) as count,
SUM(value) as total
FROM s3.mydata.mytable
WHERE date_column >= DATE ‘2024-01-01’
GROUP BY date_column;

Utilisez les métadonnées étiquetées pour organiser les données non structurées en vue d’un usage futur. Cette architecture permet à vos initiatives d’IA de décoller plus vite — sans reconstruire les pipelines de données ni dupliquer les données entre systèmes.

Les étapes ci-dessus ne servent pas seulement à configurer des requêtes : elles transforment vos données brutes et distribuées en une base réellement exploitable par l’IA.

Pourquoi c’est important pour l’IA

Quand votre direction dit « Nous voulons faire quelque chose autour de l’IA », c’est de cela qu’elle parle. Une plateforme comme Starburst sur Scality RING coche toutes les cases :

 ✅ Base de data lake évolutive et économique
✅ Analytique en temps réel sans déplacement de données
✅ Gouvernance et sécurité intégrées
✅ Prise en charge des données structurées et semi-structurées
✅ Étiquetage par métadonnées des données non structurées
✅ Compatible avec les workflows d’entraînement de modèles d’IA/ML

Pour les professionnels de l’IT, il ne s’agit pas de cocher des cases, mais d’une stratégie pérenne. Vous ne déployez pas un outil d’analytique de plus : vous construisez un environnement où les données alimentent l’innovation, prêt pour l’IA aujourd’hui et adaptable à ce qui vient.

En résumé

Le passage des entrepôts aux lacs puis aux lakehouses a toujours été une affaire d’équilibre : structure contre flexibilité, coût contre performances, gouvernance contre liberté. 

Avec l’intégration validée de Starburst et Scality RING, les entreprises n’ont plus à choisir. Vous pouvez unifier des données dispersées, les rendre interrogeables à grande échelle, avec une gouvernance et une sécurité intégrées — et transformer un paysage de données complexe en une plateforme prête pour l’IA.

Prochaines étapes

Si vous êtes prêt à passer de la théorie à la pratique :

• Découvrez la première partie de notre série sur l’IA pour une introduction aux bases d’une infrastructure prête pour l’IA.
• Mettez en pratique la deuxième partie en suivant ce design validé pour intégrer Starburst à Scality RING.
• Contactez notre équipe pour voir comment cela s’inscrit dans votre feuille de route IA et accélérer vos propres initiatives.
  

L’avenir de l’IA se construit sur les fondations de données que nous posons aujourd’hui. Avec Starburst et Scality, vous ne vous contentez pas de suivre : vous prenez de l’avance.

Autres ressources sur l’IA :

Introduction aux concepts de l’IA : ML, LLM, DL, NLP, IA générative et essor du RAG

Arrêtez de créer des chatbots limités : la solution RAG + Scality RING

L’IA d’entreprise en action : 5 cas d’usage concrets reposant sur le stockage objet

L’IA ne peut pas attendre vos données : comment Hammerspace et Scality alimentent les GPU

Évolutivité multidimensionnelle : 10 dimensions de stockage indispensables pour vos charges d’IA

Le problème de stockage IA que vous n’aviez pas vu venir — et comment Scality RING l’a déjà résolu