3 L’IA a révélé les limites du stockage en silos Le stockage d’entreprise a été conçu autour de catégories et de profils d’accès relativement stables. Les données haute performance résidaient sur un système, les données fichier et objet généralistes sur un autre. Les sauvegardes avaient leur propre cible, et les données d’archive partaient vers un stockage moins cher pour la conservation à long terme. L’IA n’est pas une charge de travail unique, ce qui rend les modèles de stockage existants de plus en plus difficiles à tenir. Les pipelines d’IA regroupent des charges de travail réparties sur de nombreuses phases : généralement des étapes en amont du modèle (collecte et nettoyage des données), l’entraînement et l’ajustement fin du modèle, puis l’interaction proprement dite avec les modèles lors de l’inférence. L’inférence dépendra de plus en plus d’un accès rapide au cache KV pour étendre la mémoire à travers des sessions utilisateur simultanées et des fenêtres de contexte croissantes avec de hautes performances, ainsi que du RAG pour intégrer des données privées. De nombreuses organisations auront aussi besoin d’une conservation des données à long terme pour la gouvernance et l’auditabilité. Chacune de ces phases impose des exigences différentes en matière de débit, de latence, de concurrence, de protection et de coût du stockage. Et ces exigences évolueront probablement tout au long de la vie des données. Les données exigent un stockage ultra-performant pour l’entraînement et l’inférence, puis peuvent vieillir ou « refroidir » suffisamment pour être placées sur un stockage moins performant mais moins coûteux, et plus tard sur des supports froids de conservation longue durée. Lorsque chaque étape repose sur une plateforme de stockage différente, gérer le cycle de vie devient une suite continue de copies de données et de projets de migration. Le stockage des données d’IA doit satisfaire plusieurs exigences à la fois : Alimenter les GPU. L’utilisation de ces ressources de calcul coûteuses dépend de plusieurs facteurs, et le stockage est l’un des plus importants. Comme l’inférence est limitée par la mémoire, le stockage doit offrir un débit suffisant et une latence assez faible pour servir d’extension au cache KV : un espace évolutif derrière la HBM des GPU et la DRAM de l’hôte, sans dégrader sensiblement les performances. Le coût et la rareté des supports. L’IA a créé un supercycle de la demande, et les pénuries de mémoire flash NAND en particulier ont fait monter les prix et allongé les délais de livraison du stockage haute performance, retardant des projets informatiques critiques. L’énergie et le refroidissement. Ils sont devenus des contraintes strictes. Les organisations ne peuvent pas garder des exaoctets de données sur des supports chauds et tièdes pendant toute leur vie, surtout quand une grande partie n’a pas besoin d’y être et relève d’un stockage froid plus économe en énergie. Une capacité de restauration démontrable. Les ransomwares ciblent de plus en plus les sauvegardes et les systèmes de reprise : l’infrastructure doit donc démontrer aux conseils d’administration, aux régulateurs et aux assureurs que le chemin de reprise survit à une attaque. Le contrôle souverain. Les organisations doivent maîtriser l’emplacement des données, qui peut y accéder et la manière dont l’infrastructure sous-jacente fonctionne. Faire croître la capacité de stockage à effectifs informatiques constants. Comme l’IA alimente encore la croissance des données, tout cela retombe sur des équipes d’infrastructure dont les effectifs n’augmentent pas au même rythme que leurs données. On leur demande de faire évoluer la capacité et les performances, de renforcer la protection, de démontrer la conformité et de gérer des charges de travail de plus en plus diverses sans ajouter une complexité opérationnelle proportionnelle. Les exigences pesant sur les données d’entreprise ont clairement changé. L’architecture qui les porte doit désormais changer avec elles. Un nouveau modèle opérationnel au service de tout le cycle de vie des données Ajouter un produit de stockage spécialisé de plus peut répondre à un besoin immédiat, mais chaque plateforme ajoute un espace de noms, un modèle de sécurité, un ensemble de politiques et un chemin de migration de plus à gérer pour les équipes d’infrastructure. Il faut un meilleur modèle, qui suive le cycle de vie des données. Les équipes d’infrastructure doivent pouvoir ajuster les performances, la protection et l’économie à mesure que les exigences évoluent, tout en gardant une sécurité, une gouvernance et une exploitation cohérentes. Elles doivent aussi pouvoir faire évoluer indépendamment la capacité, le débit et les métadonnées, sans étendre tout l’environnement ni lancer un nouveau projet de migration. L’automatisation pilotée par des politiques est également indispensable à cette échelle. Le placement et la protection des données doivent suivre les exigences définies par le client à mesure que leur valeur, leur usage et leurs profils d’accès évoluent. Cela réduit le travail manuel consistant à suivre ces évolutions et à déplacer les données entre des systèmes séparés. C’est le défi que Scality ADI a été conçu pour relever. Scality ADI (Autonomous Data Infrastructure) est un modèle opérationnel d’infrastructure de données pour l’IA d’entreprise, bâti sur le socle de stockage distribué éprouvé de Scality. Il aligne de manière autonome les bons supports, les bonnes performances et la bonne protection sur chaque étape du cycle de vie des données, de la flash à la vitesse des GPU jusqu’à l’archive profonde. Scality ADI repose sur le moteur de stockage RING, dont les performances et la durabilité sont éprouvées en production sur plus de 12 exaoctets. Avec Scality ADI, des politiques définies par le client régissent le placement, la protection et les transitions du cycle de vie. Les données d’IA, de cloud souverain, de sauvegarde et d’archive restent dans un seul espace de noms, avec une sécurité, une gouvernance et une exploitation cohérentes. Le résultat : une infrastructure conçue pour s’adapter aux données tout en répondant aux exigences de performance, de résilience, de souveraineté et d’économie auxquelles les entreprises font désormais face. Quatre températures de données, un seul cycle de vie Au cœur de ce modèle figurent quatre températures de données : Extrême, Chaud, Tiède et Froid. Chaque température utilise les supports et l’architecture les mieux adaptés à son rôle. Ensemble, elles permettent aux données de passer d’un accès à la vitesse des GPU à une conservation longue durée économique à mesure que leurs exigences évoluent, le tout dans le même espace de noms : Niveau Extrême : offre une latence ultra-faible pour le cache KV des charges d’inférence IA, via l’API IA native sur RDMA avec des SSD flash TLC. Niveau Chaud : associe hautes performances et résilience pour l’IA intensive en GPU, l’analytique et la sauvegarde rapide, via l’API S3 avec S3 sur RDMA ou TCP, et peut s’appuyer sur des SSD TLC, QLC ou nearline. Niveau Tiède : équilibre débit, durabilité et économie de la capacité pour le cloud souverain et la sauvegarde à grande échelle, en étendant l’accès S3 à des configurations SSD et HDD. Niveau Froid : privilégie l’économie de la conservation longue durée pour les données d’archive et de conformité, en se connectant à des cibles d’archivage sur bande et dans le cloud. Scality ADI effectue les transitions du cycle de vie pilotées par des politiques en dehors du chemin de données applicatif. Les règles de cycle de vie définies par le client fixent les conditions dans lesquelles les données peuvent changer de niveau. Pendant toutes ces transitions, les données restent sous un seul modèle de sécurité et de gouvernance. Les équipes peuvent adapter les performances, la protection et l’économie sans créer un nouveau silo de stockage ni gérer un nouveau projet de migration. Cette approche améliore aussi l’économie et l’efficacité énergétique de l’infrastructure. Avec Scality ADI, les supports haut de gamme sont réservés aux données qui en tirent parti, tandis que les données moins actives passent sur un stockage moins coûteux et moins énergivore. Cela devient de plus en plus important à mesure que l’énergie et le refroidissement imposent des limites concrètes à la croissance des centres de données. Niveau Extrême : des performances flash pour l’inférence IA Pour les charges d’inférence IA les plus exigeantes, Scality ADI peut servir de cache KV étendu grâce à l’API de stockage objet IA simplifiée sur RDMA. Lors d’un test sur 6 serveurs (1), Scality ADI a obtenu les résultats suivants (en anglais) pour le temps jusqu’au premier token (TTFT) et le maintien des performances lors de la montée en nombre de sessions et en longueur de contexte (testé sur Gemma-3 27B avec un contexte de référence de 14 K tokens) : Un TTFT proche de la DRAM, bien plus rapide que le recalcul : RING répond en 166 ms, soit seulement 64 ms de plus que la DRAM locale de l’hôte (102 ms). Des performances maintenues à mesure que le cache KV grossit : à 850 sessions simultanées, RING est 4,9 fois plus rapide que le recalcul complet du cache (TTFT de 373 ms contre 1 821 ms à froid), et l’écart passe à 10,3 fois avec un contexte de 128 K tokens (TTFT de 273 ms contre 2 807 ms à froid). Le niveau Extrême est délibérément non résilient. Comme le cache KV est éphémère et régénérable, Scality ADI renonce à la protection par répliques et parité au profit de la vitesse, la copie durable du modèle ou du jeu de données résidant dans le niveau inférieur. Niveaux Chaud et Tiède : des performances hyperscale sans tout passer en full flash La planification des infrastructures d’IA part souvent du principe que des performances sérieuses exigent un stockage entièrement flash (en anglais). Certaines charges de travail exigent une latence de niveau flash. Beaucoup dépendent davantage d’un débit agrégé soutenu. Scality ADI répond à ces deux besoins. Le niveau Chaud offre un accès GPU-direct pour les charges sensibles à la latence via TCP ou RDMA, tandis que le niveau Tiède fournit une bande passante agrégée élevée sur des supports plus économiques. Les tests de performance détaillés dans le livre blanc Scality ADI (en anglais) montrent ce que cela permet. Avec des objets de 10 Mo sur une configuration S3 Tiède à disques durs standard, Scality ADI a soutenu sur un cluster de grande taille plus de 420 Go/s en lecture et 250 Go/s en écriture. Pendant le test, Scality ADI a soutenu 35 000 opérations S3 simultanées sur 696 buckets pendant deux heures, sans aucune erreur au niveau du stockage. La même validation a aussi dépassé 173 000 opérations S3 PUT par seconde et 151 000 opérations S3 GET par seconde avec des objets de 4 Ko. Ces résultats montrent que le stockage objet sur disques durs peut fournir le débit agrégé exigé par les charges d’IA, d’analytique et de sauvegarde les plus exigeantes. La flash peut alors être réservée aux charges qui ont réellement besoin de sa latence. En savoir plus sur la manière d’alimenter l’IA à grande échelle sans full flash. Les performances à grande échelle dépendent aussi d’un comportement prévisible lorsque des composants individuels ralentissent. Si la récupération d’une partie d’un objet dépasse un seuil de latence défini, Scality ADI peut aller chercher une autre réplique ou reconstruire la partie à partir de la parité du codage à effacement. Des contrôles de qualité de service et de limitation de débit évitent qu’un compte, un bucket ou une charge de travail ne submerge les ressources partagées. Faire évoluer indépendamment capacité, performances et métadonnées Scality ADI se compose de services logiciels distribués qui font abstraction des serveurs et disques physiques pour former une plateforme de stockage unique. Des connecteurs sans état offrent aux applications un accès objet et fichier. Les nœuds de stockage apportent la capacité et la durabilité. Des services de métadonnées sur flash suivent les objets et les espaces de noms, tandis que la couche de gestion fonctionne en dehors du chemin de données. Les applications peuvent accéder au même stockage sous-jacent via S3 ou des protocoles fichier, notamment NFS, SMB et Linux FUSE. Les applications cloud natives et celles fondées sur des fichiers peuvent ainsi partager la plateforme sans maintenir des environnements objet et fichier séparés. Les principales ressources de l’infrastructure évoluent séparément : Ajoutez des nœuds de stockage pour augmenter la capacité. Ajoutez des connecteurs pour augmenter le débit et le nombre d’opérations par seconde. Ajoutez des clusters de métadonnées et des sessions RAFT pour augmenter la concurrence sur les métadonnées. Les métadonnées deviennent critiques à l’échelle de l’exaoctet, où un environnement peut contenir des centaines de milliards d’objets. Scality ADI les traite comme un sous-système fortement cohérent et évolutif de manière indépendante. Le consensus RAFT protège la cohérence, tandis que plusieurs sessions répartissent le trafic des métadonnées. Les buckets très sollicités peuvent être déplacés en ligne ou partitionnés par préfixe sans interruption ni modification des applications. La protection des données s’adapte de la même manière à la charge de travail. Les petits objets peuvent être répliqués pour un accès rapide, tandis que les objets plus volumineux utilisent le codage à effacement Reed-Solomon pour assurer la durabilité avec un surcoût de capacité moindre. Lorsqu’un disque ou un serveur tombe en panne, Scality ADI ne reconstruit que les objets concernés et répartit le travail sur l’ensemble du pool de stockage. Les applications restent en ligne pendant le rétablissement de la protection. Des sommes de contrôle de bout en bout détectent la corruption silencieuse à chaque lecture et récupèrent automatiquement des données saines depuis une autre réplique ou la parité. Comme Scality ADI est défini par logiciel, les organisations peuvent utiliser des serveurs x86 standard et de l’Ethernet standard, en ajoutant un réseau compatible RDMA pour les niveaux les plus performants. Des nœuds et des disques peuvent être ajoutés, retirés ou renouvelés pendant que la plateforme reste disponible, ce qui permet à l’infrastructure de grandir à travers plusieurs générations de matériel sans remplacement complet. La cyber-résilience intégrée au socle de stockage Les attaques par ransomware ciblent de plus en plus les sauvegardes avant les données de production. Si les attaquants peuvent détruire le chemin de reprise, le chiffrement devient bien plus dévastateur. Scality ADI répond à cette menace au niveau du moteur de stockage. Le moteur n’écrase jamais les données d’un objet sur place. Chaque nouvelle écriture reçoit un nouvel emplacement de stockage, laissant la version précédente intacte. Cette immuabilité intrinsèque soutient le modèle de cyber-résilience Scality CORE5 : La résilience de l’API protège contre les écrasements et suppressions malveillants grâce au versioning, aux contrôles de cycle de vie et à S3 Object Lock. La résilience des données contrôle l’accès et protège les données grâce à la gestion des identités et au chiffrement en transit, au niveau de l’API et sur disque. La résilience du stockage s’appuie sur la réplication, le codage à effacement, l’auto-réparation et les sommes de contrôle de bout en bout pour résister aux pannes matérielles et à la corruption silencieuse. La résilience géographique protège contre les pannes de site grâce à des configurations multisites synchrones et asynchrones. La résilience au niveau de l’architecture préserve les données protégées même lorsqu’un compte administrateur à privilèges est compromis. Avec S3 Object Lock en mode conformité, un objet protégé ne peut être ni modifié ni supprimé avant l’expiration de sa période de conservation. La conservation peut être prolongée mais pas raccourcie, y compris par un administrateur disposant de tous les privilèges. Le modèle comprend aussi des identifiants à courte durée de vie, la fédération d’identités, le chiffrement, la réplication multisite et des journaux d’audit ouverts qui peuvent être ingérés par les systèmes de sécurité et de supervision. Ensemble, ces contrôles apportent la preuve que le chemin de reprise reste protégé face aux pannes matérielles, à la perte d’un site, aux ransomwares et à la compromission d’identifiants à privilèges. Connecter directement le stockage aux workflows d’IA Scality ADI s’intègre aux profils d’accès et aux outils utilisés pour construire des plateformes d’IA et de HPC. Pour les charges sensibles à la latence, le stockage GPU-direct transfère les données directement entre le stockage NVMe et la mémoire des GPU, en évitant les copies inutiles par le CPU et le noyau. Le niveau Extrême vise une latence inférieure à 50 microsecondes pour des données éphémères comme le cache KV et l’espace scratch HPC. Pour les charges qui ont besoin de résilience en plus de hautes performances, S3 sur RDMA associe un plan de contrôle S3 à des transferts directs de données vers et depuis la mémoire des GPU. Les données restent protégées par codage à effacement sur l’ensemble du cluster. Les intégrations Kubernetes intègrent le provisionnement du stockage au workflow applicatif : La Container Storage Interface, ou CSI (en anglais), présente Scality ADI comme un volume de fichiers pour les applications qui attendent des chemins de fichiers classiques. La Container Object Storage Interface, ou COSI, fait des buckets S3 et des identifiants d’accès des ressources Kubernetes déclaratives. Les notifications de bucket S3 peuvent déclencher des workflows de prétraitement, de validation, d’entraînement et de restauration via des plateformes ouvertes comme Kafka et RabbitMQ. Les mêmes données peuvent servir au traitement à proximité des GPU, à un accès haute performance résilient, à une capacité économique et à une conservation longue durée sans quitter l’espace de noms Scality ADI. L’intelligence opérationnelle à l’échelle de l’infrastructure L’automatisation du cycle de vie pilotée par des politiques gère la circulation des données dans la plateforme. Scality Guardian applique l’intelligence au travail d’exploitation de cette infrastructure à mesure qu’elle grandit. Scality ADI expose plus de 2 000 métriques via Grafana et Prometheus, avec des vues à l’échelle du système, par composant et de dépannage. Guardian ajoute une supervision et une analyse pilotées par l’IA couvrant la santé du système, la capacité, l’énergie et les performances. Il détecte les anomalies, alerte tôt sur les pannes de disques potentielles, les tendances de capacité et les erreurs de configuration, et guide les opérateurs dans l’analyse des causes racines. L’accès en langage naturel facilite aussi l’exploration de la télémétrie et de la documentation technique. Guardian étend ces capacités via le Model Context Protocol, ou MCP. Les opérateurs peuvent utiliser l’agent intégré ou connecter Scality ADI à leur propre pile IA. Des agents peuvent créer, configurer et interroger Scality ADI dans des workflows en plusieurs étapes, en traduisant l’intention d’un opérateur en appels d’API sous-jacents soumis à sa revue. Scality ADI peut ainsi participer, aux côtés des outils de calcul et de réseau, à des workflows d’infrastructure plus larges. Le stockage peut être provisionné au moment où les systèmes en amont en ont besoin, et des tâches opérationnelles qui exigeaient plusieurs interfaces et des recherches dans la documentation peuvent être coordonnées par une seule instruction. Conçu pour les patrimoines de données vastes et multi-charges Scality ADI est conçu pour des patrimoines de données vastes et durables, où les charges de travail ont des exigences différentes en matière de performances, de protection et d’économie. Ses cas d’usage les plus pertinents sont : L’IA et les charges d’entreprise classiques partageant la même infrastructure Des pétaoctets à des exaoctets de données non structurées Des données dont la valeur et les exigences d’accès évoluent dans le temps Des exigences de souveraineté et de réglementation Des environnements de sauvegarde et de reprise sensibles aux ransomwares Une infrastructure qui doit évoluer sans augmentation proportionnelle de la charge opérationnelle Certains environnements ont d’autres besoins. Un système de fichiers parallèle dédié peut rester adapté à une charge scratch spécialisée et circonscrite. Le stockage objet du cloud public peut bien convenir aux applications cloud natives élastiques sans contrainte de souveraineté, de localisation ou de coût à grande échelle dans la durée. Les bases de données transactionnelles et les applications bloc à faible latence exigent une autre classe de stockage. Pour les environnements plus petits, centrés sur la sauvegarde, le logiciel de stockage objet Scality ARTESCA offre un point d’entrée plus simple vers le stockage objet immuable. Il est conçu pour un déploiement facile, s’intègre aux principales applications de sauvegarde et évolue de 20 To à plusieurs pétaoctets. Laisser l’infrastructure suivre les données Le prochain modèle opérationnel de l’infrastructure de données d’entreprise doit permettre bien plus que la croissance de la capacité. Il doit : Servir de multiples profils d’accès et exigences de performance de l’IA Aligner supports, protection, économie et énergie sur le cycle de vie des données Maintenir les données sous une sécurité et une gouvernance cohérentes Préserver la capacité de restauration face aux cyberattaques et aux pannes d’infrastructure Faire évoluer indépendamment la capacité, le débit et les métadonnées Réduire le travail manuel nécessaire à l’exploitation d’un patrimoine de données en croissance Scality ADI réunit ces exigences au sein d’un moteur distribué unique, d’un espace de noms unique et de quatre températures de données. De la mémoire des GPU à l’archive profonde, les organisations peuvent appliquer les bonnes performances, la bonne protection et la bonne économie à chaque étape du cycle de vie des données, tout en conservant un contrôle souverain et un modèle de cyber-résilience cohérent. Lisez le livre blanc technique Scality ADI (en anglais) pour un examen approfondi de l’architecture, de la validation des performances et de l’ingénierie de la plateforme. Contenus associés Article indépendant : Making Object Storage Fast Enough to Feed a GPU: Scality’s ADI (en anglais), par Brian Booden Blog : Alimenter l’IA à grande échelle n’exige pas le full flash Podcast (15 min) : AI Broke Storage Economics: Not Every Workload Needs All-Flash (en anglais) Podcast (15 min) : Can Object Storage Keep GPUs Fed? We Put It to the Test (en anglais) Podcast (15 min) : Is Object Storage the Answer to the KV Cache Memory Bottleneck? (en anglais) Livre blanc : livre blanc technique Scality ADI (en anglais) Notes 1. Configuration du test en laboratoire pour les performances du niveau Extrême : Serveur GPU hôte HPE DL380a : 8 NVIDIA RTX 6000 ; 2 Intel Xeon 6737P, 2 To de DDR5 ; 4 ports RDMA 100G (2 ConnectX-6-x), un par rail ; 4 NVMe locaux de 3,84 To (chemin de cache KV de référence) Commutateur RDMA : HPE SN3700cM, 32 ports 100GbE, un seul niveau, RoCE sans perte de bout en bout Scality ADI : cluster de 6 nœuds HPE Alletra 4110 : 2 Xeon Gold 6442Y ; 512 Go de DDR5 ; 20 NVMe de 3,84 To ; 4 ports RDMA 100G
