Pourquoi les développeurs vont adorer Scality RING + RING XP pour optimiser leurs pipelines d’IA

6

À mesure que l’IA transforme les secteurs, les développeurs font face à des exigences croissantes de vitesse, d’évolutivité et de fiabilité pour leurs pipelines d’IA. Au cœur de ces pipelines se trouve l’infrastructure de données — un facteur décisif qui peut accélérer l’innovation ou la freiner. 

C’est là qu’interviennent Scality RING et RING XP, une combinaison puissante qui apporte une flexibilité et des performances inégalées aux charges d’IA à grande échelle. Avec l’évolutivité multidimensionnelle de Scality RING (en anglais)  et les performances extrêmes de RING XP, les développeurs disposent du stockage nécessaire pour suivre l’évolution rapide des applications d’IA. Voyons comment cela fonctionne.

Scality RING (en anglais) apporte les capacités fondamentales pour concrétiser des data lakes d’IA à très grande échelle. RING XP (une configuration 100 % flash de RING) porte les performances à un niveau inédit, avec des temps de réponse de l’ordre de la microseconde pour les petits objets (4 Ko), ce qui accélère l’entraînement et le fine-tuning des modèles d’IA. Utilisez les deux et libérez tout le potentiel de l’IA sur l’ensemble du pipeline.

Scality RING : la référence des data lakes dans les secteurs à forts enjeux

Scality RING (en anglais) est idéal pour les clients qui veulent construire des pipelines de données résilients et riches en fonctionnalités — sans renoncer à une évolutivité simple ni à la flexibilité nécessaire pour s’adapter à des exigences en constante évolution. 

RING s’est imposé comme data lake de référence pour l’IA et l’analytique chez des clients variés représentant des secteurs critiques, notamment :

Services financiers 

• Grande banque américaine : data lake pour la détection de la fraude par l’IA
• Grand assureur américain : data lake pour le traitement automatisé des sinistres

Transports et recherche

• Agence de recherche spatiale : data lake pour les images d’observation de la Terre, d’astronomie et d’orbitographie 
• Agence d’exploration spatiale : data lake pour les configurations et la télémétrie des lanceurs
• Grand constructeur automobile : data lake pour la technologie d’évitement des collisions
• Services ferroviaires européens : data lake pour les mises à jour de maintenance en temps réel 
• Fournisseur mondial de services de voyage : data lake pour analyser les tendances de recherche de voyages 

Sciences de la vie et laboratoires de génomique

• Plusieurs laboratoires de génomique : data lake pour le séquençage du génome et la recherche 
• Laboratoires pharmaceutiques américains : data lake pour l’automatisation de la recherche biopharmaceutique 

Administrations et secteur public

• Plusieurs agences gouvernementales de renseignement : data lake pour les données de criminalistique  
• Agences militaires et de défense : data lakes dans des agences classées secret-défense aux États-Unis, en Europe, au Moyen-Orient et en Asie

Cette diversité de clients montre comment Scality RING prend en charge les workflows d’IA complexes de secteurs aux exigences rigoureuses (et en constante évolution) en matière de performances, d’évolutivité et de sécurité.

Zoom sur Scality RING en action : le laboratoire de génomique SeqOIA

Le déploiement de RING par SeqOIA illustre parfaitement son impact. SeqOIA est l’un des deux seuls laboratoires nationaux français spécialisés dans le séquençage du génome entier, pour faire progresser la recherche et améliorer la prise en charge des patients atteints de maladies rares et de cancers.

Avec RING, le laboratoire de génomique à haut débit de SeqOIA accélère considérablement l’analyse de données génétiques à l’échelle du pétaoctet, ce qui améliore la rapidité et la précision des diagnostics et des soins. Pour les développeurs d’applications en génomique et dans d’autres domaines gourmands en données, les capacités de RING se traduisent par une gestion des données plus efficace pour les projets de recherche complexes.

En résumé : RING a fait ses preuves comme référentiel idéal pour les data lakes d’IA

Nos clients partagent un besoin commun qui reflète les exigences modernes des data lakes, en particulier avec l’essor de l’IA et de l’analytique. Ces exigences correspondent directement aux capacités et aux points forts de RING :

• Les data lakes doivent agréger des données issues de multiples référentiels externes 

→ RING offre un référentiel unique, évolutif et à haut débit pour stocker tout type de données non structurées, avec des capacités immenses — de dizaines à centaines de pétaoctets, voire l’exaoctet

• Filtrage et nettoyage des données avant leur analyse et leur traitement par les outils d’IA → RING offre des performances flexibles et rapides pour l’accès aux données et leur traitement
  
• Sécurité et confidentialité des données sensibles agrégées
  → RING offre la cyber-résilience CORE5 avec un multi-tenant sécurisé et l’immuabilité
  
• Enrichissement des données et données vectorielles stockées dans les métadonnées des objets
  → RING offre un étiquetage des métadonnées extensible par les applications, utilisable pour la recherche directe comme pour les bases de données vectorielles émergentes et les techniques de génération augmentée par récupération (RAG)

RING prend en charge toutes ces capacités grâce à son architecture ultra-flexible qui évolue sur plusieurs dimensions (en anglais), pour répondre à la plus large gamme d’exigences applicatives et de charges de travail.

Face à l’engouement pour les solutions de stockage 100 % flash, il est important de préciser que les clients cités utilisent des serveurs de stockage hybrides (flash/HDD) et atteignent pourtant des débits élevés.

Par exemple, le data lake de détection de la fraude de la banque atteint actuellement 80 Go/s en lecture par site, soit 160 Go/s de débit cumulé sur les sites pour alimenter un grand cluster d’analytique Splunk. Le fournisseur de services de voyage ingère 1 pétaoctet par jour dans RING pour ses applications d’IA et d’analytique.

Outre Splunk, ces clients utilisent aussi avec succès un large éventail d’outils et d’applications d’IA fournis par des éditeurs partenaires (ISV) pour analyser les données du data lake RING, dont Weka (en anglais), Dremio, Presto, Trino, SPARK, Cloudera (en anglais), HPE Pachyderm, Elastic, Cribl et d’autres. 

Avec autant de clients satisfaits de leur data lake RING dans le monde, une question demeure : quel est le dernier élément nécessaire pour répondre entièrement à leurs besoins de stockage pour les pipelines de données d’IA ?

Voici Scality RING XP : des performances extrêmes (eXtreme Performance) pour les charges d’IA

Associer RING XP, le magasin d’objets le plus rapide au monde, à RING permet aux développeurs d’obtenir des temps de réponse inédits de l’ordre de la microseconde pour les petits objets (4 Ko ou moins). C’est la cible idéale pour les outils d’IA, les applications sur mesure et les systèmes de fichiers optimisés pour l’entraînement des modèles d’IA.

En déployant RING XP, responsables IT et ingénieurs IA conservent les avantages du stockage objet RING pour les data lakes d’IA : évolutivité, sécurité et faible coût de possession. Les développeurs gardent des espaces de noms plats illimités et un accès au stockage par API, qui s’intègre naturellement aux architectures applicatives actuelles, sans état et orientées services.

RING XP répond précisément au besoin de performances extrêmes sur les petits objets « chauds ». Pour l’entraînement et le fine-tuning des modèles d’IA, cela implique généralement de traiter des millions, voire des milliards de petits objets (quelques Ko ou moins). 

Pour ces applications d’IA à très hautes performances, RING XP, une configuration spéciale de Scality RING, offre des latences d’accès de l’ordre de la microseconde sur des objets de quelques Ko. Nous pensons que RING XP est la première et la seule solution de stockage à offrir des latences bien inférieures à 1 milliseconde via une interface de stockage objet.

Alors, qu’est-ce que RING XP exactement ?

Sur le plan logiciel, il repose fondamentalement sur notre pile logicielle RING éprouvée, avec :

• Un connecteur de stockage objet hautes performances, avec des API objet simplifiées 
  • Une cible idéale pour les applications, outils et systèmes de fichiers d’IA via une API objet simple
    
• Une pile de stockage RING optimisée pour la performance
  • Elle conserve tous les avantages de durabilité des données de RING (EC, réplication, intégrité, autoréparation)
  • Elle permet aussi des politiques de durabilité ultra-efficaces pour les exigences de performances les plus extrêmes, comme le stockage temporaire (scratch)
    
• Le logiciel RING déployé sur des plateformes serveur AMD EPYC 100 % flash NVMe
  • Pris en charge dès le lancement sur huit plateformes de référence de fournisseurs comme Lenovo, SuperMicro, Dell et HPE
  • La même licence par abonnement (en anglais) basée sur la capacité utile que RING, sans frais supplémentaires pour RING XP

Pour situer ces performances, RING XP offre des latences inférieures à celles des offres de stockage objet public les plus rapides du marché :

• Stockage objet cloud S3 standard d’Amazon Web Services (AWS) : des latences comprises entre 10 et 50 millisecondes (en anglais), non déterministes ni encadrées par un SLA, et parfois plus élevées.
  
• Amazon S3 Express One Zone (en anglais) : fin 2023, AWS a lancé une interface objet simplifiée (moins fonctionnelle, non compatible S3) baptisée S3 Express. En échange de fonctionnalités réduites, elle promet des latences d’accès « de quelques millisecondes ».
  

Scality RING XP atteint des latences de 500 microsecondes en lecture et de 700 microsecondes en écriture sur des objets de 4 Ko. 

Petit historique : comment Amazon S3 a évolué pour réduire la latence

En 2023, AWS a lancé S3 Express One Zone, une option plus rapide et à plus faible latence pour les développeurs IA. L’API S3 standard était devenue si riche en fonctionnalités qu’elle alourdissait la pile S3 et pénalisait les performances. 
Pour améliorer la latence, AWS a apporté d’importantes modifications à l’API S3 Express, notamment :

Une nouvelle structure de buckets répertoires : contrairement aux buckets S3 standard, S3 Express fonctionne avec des directory buckets, une conception optimisée qui réduit la latence et prend en charge des accès à haute fréquence.

Une authentification par session : alors que l’authentification S3 standard a lieu à chaque appel d’API pour garantir un accès sécurisé, S3 Express regroupe l’authentification au niveau de la session pour limiter les tâches répétitives et améliorer les temps de réponse.

RING XP face aux solutions de stockage fichier 100 % flash : ce qui nous distingue

Lorsque vous évaluez des solutions de stockage, posez une question essentielle aux fournisseurs de systèmes de fichiers : comment mesurent-ils les performances ? Les solutions de stockage fichier 100 % flash viennent aussi bien de géants historiques que de start-up agiles, et chacun mesure les performances différemment.

En général, les fournisseurs de systèmes de fichiers communiquent leurs performances via des interfaces fichier traditionnelles comme NFS, certains offrant aussi une compatibilité limitée avec le stockage objet. Mais ils publient rarement leurs mesures de latence sur interface objet, et préfèrent mettre en avant la faible latence obtenue via les API de système de fichiers.

Les interfaces de système de fichiers peuvent atteindre de faibles latences, généralement de quelques centaines de microsecondes — comparables au nouveau RING XP (de l’ordre de quelques centaines de microsecondes). Toutefois, nos mesures sont réalisées directement via une interface de stockage objet. Nous sommes convaincus que les systèmes de fichiers utilisant leurs API de stockage objet ne peuvent pas égaler la faible latence de RING XP, car un temps de réponse supplémentaire s’ajoute généralement.

La différence ? RING XP associe de façon unique évolutivité et latence ultra-faible grâce à une interface de stockage objet conçue spécifiquement, qui offre des avantages nets.

Pourquoi le stockage objet RING + RING XP est optimal pour les développeurs IA

Le stockage objet apporte des avantages importants aux applications modernes. Son espace de noms unique et plat permet une évolutivité sans limite, tandis que l’accès par API convient parfaitement aux architectures conteneurisées et aux applications sans état à base de microservices. 

RING XP pousse ces avantages encore plus loin. Avec son immense espace d’adressage de 160 bits — qui offre plus d’adresses uniques qu’il n’y a d’atomes dans l’univers — RING XP offre aux développeurs une évolutivité illimitée, sans contraintes de répertoires ni dégradation des performances. Il est donc idéal pour les applications d’IA à forte intensité de données, pour lesquelles limites de stockage et goulets d’étranglement ne sont pas envisageables.

Le stockage objet simplifie aussi la gestion des données. Plus besoin de se soucier des limites de structure des répertoires ou des goulets d’étranglement lorsque les fichiers sont regroupés dans un seul répertoire. RING XP permet aux développeurs de créer des applications gourmandes en données sans contrainte de structure, avec des workflows évolutifs pilotés par API qui simplifient l’accès et renforcent la flexibilité. 

En s’appuyant sur les capacités fondamentales de Scality RING, RING XP répond facilement aux exigences de performances extrêmes des charges d’IA. Les organisations peuvent désormais exploiter une solution de stockage évolutive et performante au sein de l’écosystème Scality, pour des pipelines d’IA plus rapides et plus efficaces que jamais. Une base de stockage robuste, avec la flexibilité et la vitesse nécessaires pour bâtir des solutions de pointe fondées sur les données et prêtes pour l’avenir — que demander de plus ?

---

En savoir plus

Présentation du produit RING (en anglais)
RING pour les data lakes d’IA (en anglais)
RING XP : des performances extrêmes pour les charges d’IA (en anglais)

Blog :  comment Scality RING XP est 20 fois plus rapide qu’Amazon S3 Express One Zone