Quel stockage utiliser pour l’IA générative ?

3

Le meilleur stockage pour l’IA générative dépend de ce que fait le système d’IA. L’entraînement de modèles à grande échelle peut exiger un débit extrêmement élevé, la génération augmentée par récupération (RAG) a besoin d’un accès efficace à de vastes collections de données d’entreprise, et l’inférence peut introduire des exigences différentes pour le chargement des modèles, le cache et le contenu généré.

Les principales options sont le stockage objet, le stockage de fichiers parallèle, le stockage full flash, le stockage objet dans le cloud et le stockage NVMe local. De nombreux environnements d’IA générative d’entreprise en utilisent plusieurs, car aucune technologie de stockage n’est optimisée pour toutes les étapes du cycle de vie des données d’IA.

Le bon choix dépend de la taille des jeux de données, des exigences de performance, des profils d’accès aux données, de l’emplacement de l’infrastructure, des exigences de sécurité et du coût.

Quelles options de stockage existent pour l’IA générative ?

Le stockage pour l’IA générative se répartit généralement en cinq catégories. Chacune couvre une partie différente du spectre performance, capacité et coût.

1. Le stockage objet

Le stockage objet est couramment utilisé pour les grands jeux de données d’IA, car il peut évoluer sur des pétaoctets de données non structurées tout en offrant un accès via les API S3.

Il peut stocker des jeux de données d’entraînement, des documents utilisés pour le RAG, des images, des vidéos, des fichiers de modèles, des points de contrôle et du contenu généré. Le stockage objet peut aussi servir de couche de données partagée entre plusieurs applications, plutôt que de lier les jeux de données à un serveur ou à un cluster de calcul précis.

Les performances varient considérablement d’une plateforme de stockage objet à l’autre. Certaines sont conçues avant tout pour la capacité et l’archivage, d’autres pour soutenir des environnements d’IA et d’analytique à haut débit.

Usages les plus adaptés : grands jeux de données non structurées, data lakes d’IA, données sources du RAG, référentiels de modèles et environnements où la capacité doit croître fortement.

2. Le stockage de fichiers parallèle

Les systèmes de fichiers parallèles répartissent les données sur plusieurs nœuds de stockage afin que de nombreux clients puissent y accéder simultanément. Largement utilisés dans le calcul haute performance, ils sont devenus importants dans les grands environnements d’entraînement d’IA.

Leur principal atout est leur capacité à fournir un débit élevé à de grands clusters de GPU. Les interfaces fichier peuvent aussi simplifier l’intégration avec des applications d’IA conçues autour de la sémantique des systèmes de fichiers traditionnels.

La contrepartie peut être la complexité et le coût de l’infrastructure, en particulier lorsqu’il faut conserver de très grandes quantités de données moins souvent consultées.

Usages les plus adaptés : grands clusters de GPU, entraînement de modèles haute performance et charges de travail nécessitant un accès fichier parallèle.

3. Le stockage full flash

Les systèmes full flash utilisent des supports à semi-conducteurs pour offrir un débit élevé et une faible latence. Ils peuvent être utiles pour les charges de travail d’IA sensibles aux performances, où des délais de stockage pourraient pénaliser de coûteuses ressources GPU.

La flash peut prendre en charge les jeux de données d’entraînement actifs, le service des modèles, le prétraitement et d’autres parties d’un pipeline d’IA qui exigent un accès rapide aux données.

L’économie de la capacité devient un critère important à mesure que les jeux de données grossissent. Une organisation peut détenir des pétaoctets de données potentiellement utiles à l’IA, même si seule une partie exige des performances de niveau flash.

Usages les plus adaptés : entraînement et inférence sensibles aux performances, et jeux de données d’IA actifs pour lesquels la latence et le débit justifient le surcoût.

4. Le stockage objet dans le cloud

Des services comme Amazon S3, Azure Blob Storage et Google Cloud Storage sont largement utilisés dans les environnements d’IA générative exécutés dans le cloud public.

Ils offrent une capacité élastique et une intégration étroite avec les services d’IA du cloud, les plateformes de données et les outils de machine learning managés. Ils peuvent donc être particulièrement pratiques pour les organisations qui construisent déjà leurs applications d’IA autour d’un cloud hyperscale.

Les organisations doivent aussi tenir compte des frais de capacité récurrents, des coûts de transfert de données, des exigences de résidence des données et des conséquences du déplacement de très grands jeux de données entre le cloud et l’infrastructure sur site.

Usages les plus adaptés : IA générative cloud native, expérimentation, services d’IA managés et charges de travail déjà situées dans un cloud public.

5. Le stockage NVMe local

Le stockage NVMe offre un accès local extrêmement rapide et peut se trouver au plus près des CPU et des GPU.

Il est utile pour les jeux de données temporaires, les caches, l’espace scratch et d’autres parties du pipeline d’IA où la latence compte plus que la capacité ou la durabilité à long terme. Il peut aussi compléter le stockage partagé en rapprochant du calcul les données fréquemment consultées.

Comme le NVMe local est rattaché à des systèmes individuels, il constitue généralement une composante d’une architecture de stockage d’IA plus large plutôt que le référentiel de l’ensemble des données d’IA d’une organisation.

Usages les plus adaptés : cache, données scratch, jeux de travail temporaires et traitements sensibles à la latence à proximité du calcul.

Comparatif du stockage pour l’IA générative

Les différences deviennent plus claires lorsque l’on compare les options selon ce pour quoi elles sont conçues.

Type de stockage	Usage principal	Point fort	Point de vigilance
Stockage objet	Grands jeux de données d’IA et RAG	Échelle et économie de la capacité	Performances variables selon la plateforme
Stockage de fichiers parallèle	Entraînement à grande échelle	Débit parallèle	Coût et complexité opérationnelle
Stockage full flash	Charges actives haute performance	Faible latence et débit	Économie à très grande capacité
Stockage objet dans le cloud	IA cloud native	Élasticité et intégration cloud	Coût récurrent et déplacement des données
NVMe local	Cache et scratch	Latence très faible	Capacité partagée limitée

C’est pourquoi se demander si le stockage objet, fichier ou flash est « le meilleur pour l’IA » peut être trompeur. La réponse change selon la partie de l’environnement d’IA considérée.

Quel stockage pour l’entraînement de modèles d’IA ?

L’entraînement de l’IA peut imposer au stockage certaines des exigences de performance les plus élevées.

Les clusters de GPU peuvent consommer de grands jeux de données en parallèle, et alimenter en continu ces accélérateurs coûteux peut exiger un débit agrégé considérable. Les grands environnements d’entraînement utilisent donc couramment un stockage objet haute performance, des systèmes de fichiers parallèles ou une infrastructure full flash.

Les caractéristiques des jeux de données comptent autant que la capacité brute. Des millions de petits fichiers peuvent provoquer un comportement de stockage différent de celui de gros objets séquentiels, et le prétraitement comme les performances réseau influent aussi sur la vitesse à laquelle les données atteignent les GPU.

Les organisations qui construisent de grands clusters d’entraînement doivent évaluer le stockage avec des jeux de données représentatifs et leurs pipelines d’IA réels, plutôt que de se fier uniquement aux spécifications de débit maximal.

Pour des charges d’ajustement fin plus modestes, ces exigences extrêmes ne s’appliquent pas forcément. Ajuster un modèle existant sur un jeu de données propriétaire relativement petit peut nécessiter bien moins d’infrastructure que l’entraînement d’un modèle de fondation à partir de zéro.

Quel stockage pour le RAG ?

Le RAG déplace souvent l’exigence de stockage de la performance maximale d’entraînement vers un accès efficace à de grands volumes d’informations d’entreprise.

Un système RAG peut puiser dans des documents, des dossiers de support, des manuels techniques, des données de recherche, des images, des informations applicatives et d’autres jeux de données propriétaires. Ces jeux de données sources peuvent croître fortement à mesure que les organisations connectent davantage d’informations à leurs applications d’IA générative.

Le stockage objet est une option pour maintenir ces grandes collections de données non structurées. Un stockage de fichiers ou un stockage cloud existant peut aussi convenir selon l’endroit où résident déjà les données sources et la manière dont le pipeline RAG y accède.

Les bases de données vectorielles jouent un rôle différent. Elles stockent et interrogent les embeddings vectoriels utilisés lors de la récupération, mais ne remplacent pas nécessairement le référentiel sous-jacent qui contient les informations sources d’origine.

Le choix du stockage pour le RAG doit donc prendre en compte à la fois la couche de récupération et l’endroit où résideront les données d’entreprise de référence.

Quel stockage pour l’inférence IA ?

Les exigences d’inférence varient considérablement selon l’application.

Un service d’IA conversationnelle qui sert des milliers d’utilisateurs simultanés n’a pas les mêmes besoins d’infrastructure qu’un assistant interne qui répond de temps à autre aux questions des collaborateurs. La taille du modèle, la concurrence, la longueur du contexte et les exigences de temps de réponse influent toutes sur l’architecture de stockage et de mémoire.

Le NVMe local et la flash peuvent être utiles pour le chargement des modèles, le cache et d’autres fonctions sensibles à la latence. Un stockage fichier ou objet partagé peut donner accès aux modèles, aux jeux de données RAG et au contenu généré sur plusieurs systèmes d’inférence.

L’inférence crée aussi de nouvelles données. Images, vidéos, audio, documents et autres contenus générés par l’IA peuvent vite poser un problème de capacité lorsque les applications d’IA générative fonctionnent à l’échelle de l’entreprise.

La planification du stockage doit donc tenir compte de ce que les systèmes d’IA produisent autant que de ce qu’ils consomment.

Quel stockage pour les grands jeux de données d’IA non structurées ?

Le stockage objet devient particulièrement pertinent lorsque le principal défi est de maintenir de très grandes collections d’informations non structurées.

L’IA générative peut donner de la valeur à des données d’entreprise jusque-là passives. Documents historiques, images, vidéos, données scientifiques, journaux et autres informations peuvent devenir des données d’entraînement ou du contexte pour de futures applications d’IA.

Ces jeux de données peuvent atteindre l’échelle du pétaoctet alors même que seule une fraction est activement traitée.

Le stockage objet est conçu pour ce type de croissance de la capacité et peut associer des métadonnées détaillées à chaque objet. La compatibilité S3 permet aussi à un nombre croissant d’outils d’IA, d’analytique et d’ingénierie des données d’accéder aux données.

Les entreprises qui évaluent le stockage objet pour l’IA doivent tout de même examiner attentivement les performances. Un stockage objet d’archivage et une plateforme de stockage objet haute performance peuvent exposer des API similaires tout en se comportant très différemment sous des charges d’IA exigeantes.

Quel stockage pour l’IA privée ?

Les environnements d’IA privée maintiennent l’infrastructure et les données d’IA au sein d’une infrastructure contrôlée par l’organisation, plutôt que de s’appuyer entièrement sur des services d’IA publics.

Les options de stockage sont globalement les mêmes, objet, fichier et flash, mais les critères de sélection changent.

Les organisations peuvent accorder plus d’importance à la souveraineté des données, aux contrôles d’accès, à la cyber-résilience et à l’intégration avec l’infrastructure existante du centre de données. Elles peuvent aussi devoir donner aux applications d’IA l’accès à des données déjà stockées sur site.

Le stockage objet sur site peut offrir un accès S3 sans exiger que les données sous-jacentes soient placées dans un cloud public. Des systèmes de fichiers parallèles et flash peuvent être déployés à ses côtés lorsque certaines charges d’IA exigent leurs caractéristiques de performance.

L’IA privée n’impose donc pas une technologie de stockage particulière. Elle fait du contrôle des données et de l’infrastructure un élément plus important de la décision.

Et les environnements d’IA hybrides ?

De nombreuses entreprises exploiteront l’IA générative sur une combinaison de sites.

Les données peuvent rester dans un centre de données d’entreprise tandis qu’une partie du traitement d’IA a lieu dans le cloud. Différents environnements GPU peuvent servir à l’entraînement et à l’inférence. Les organisations peuvent aussi travailler avec plusieurs plateformes d’IA à mesure que les modèles et l’infrastructure évoluent.

Dans ces environnements, la mobilité et l’interopérabilité des données deviennent des critères de stockage importants.

Une architecture performante mais qui rend les jeux de données difficiles ou coûteux à déplacer peut poser problème à mesure que l’infrastructure d’IA évolue. Des interfaces ouvertes comme S3 peuvent aider à rendre les données accessibles à un plus large éventail d’applications et de plateformes.

Les organisations doivent déterminer où les données doivent circuler, à quelle fréquence et combien coûteront ces transferts avant d’engager de grands jeux de données d’IA dans un environnement donné.

Que rechercher dans un stockage pour l’IA générative ?

Plutôt que de choisir un stockage sur la foi d’une étiquette « prêt pour l’IA », évaluez son adéquation aux charges de travail que vous prévoyez réellement d’exécuter.

Performances

Examinez le débit, la latence et la concurrence dans le contexte de l’application.

Entraîner un grand modèle sur des centaines de GPU n’a rien à voir, en termes d’exigences, avec le stockage des documents sources d’une application RAG interne.

Évolutivité

Les jeux de données d’IA peuvent croître rapidement à mesure que de nouvelles sources sont intégrées et que le contenu généré s’accumule.

Vérifiez que la plateforme peut passer du jeu de données actuel à des environnements de l’ordre du pétaoctet sans créer de nouveaux silos de stockage ni imposer de migrations perturbantes.

Accès aux données

Déterminez les interfaces que vos outils d’IA utilisent réellement.

S3 est répandu dans les plateformes d’IA et de données modernes, mais certaines applications dépendent encore de protocoles fichier ou de la sémantique POSIX. La prise en charge des bonnes interfaces peut compter autant que le support sous-jacent.

Coût à grande échelle

Comparez les coûts en fonction de la quantité de données qui sera réellement stockée, et non du projet d’IA initial.

L’économie de la flash peut être raisonnable pour un jeu de données actif, mais très différente sur plusieurs pétaoctets. Le stockage du cloud public peut offrir une élasticité pratique tout en introduisant des frais récurrents de capacité et de déplacement des données.

Cyber-résilience

Les jeux de données, modèles et résultats d’entraînement d’IA peuvent contenir une propriété intellectuelle précieuse et être difficiles ou coûteux à recréer.

Évaluez l’immuabilité, le chiffrement, l’authentification, les contrôles d’accès et les capacités de reprise en même temps que les performances et la capacité.

Souveraineté des données

Les organisations des secteurs réglementés ou des juridictions soumises à des exigences de résidence des données doivent savoir où résident leurs données d’IA et qui contrôle l’infrastructure qui les héberge.

C’est particulièrement pertinent lorsque l’IA générative intègre des informations d’entreprise sensibles.

Intégration

L’infrastructure d’IA évolue rapidement.

Un stockage compatible avec plusieurs plateformes de calcul, frameworks d’IA et outils de données peut donner aux organisations plus de flexibilité à mesure que les modèles et les technologies d’accélération évoluent.

Quelle place pour Scality ADI ?

Scality ADI est une plateforme d’infrastructure de données d’entreprise conçue pour les organisations qui gèrent des données non structurées à grande échelle pour l’IA et d’autres charges gourmandes en données.

Elle est pertinente pour les environnements d’IA générative qui exigent un stockage objet évolutif, en particulier lorsque les organisations construisent une infrastructure d’IA privée ou hybride et veulent garder le contrôle de grands jeux de données d’entreprise.

Scality ADI associe un stockage de données à grande échelle à des capacités axées sur l’IA d’entreprise, la cyber-résilience et le contrôle souverain. Elle peut prendre en charge des environnements où les jeux de données d’IA atteignent le pétaoctet ou au-delà et où les données doivent rester accessibles malgré l’évolution des applications et de l’infrastructure.

Scality travaille aussi avec des technologies d’infrastructure d’IA comme WEKA et F5, ce qui permet aux organisations de combiner différentes couches de performance et de gestion des données selon les exigences de leurs charges de travail.

Pour les organisations qui évaluent un stockage pour l’IA générative, ADI est donc une option à envisager lorsque les données non structurées à grande échelle, l’accès S3, la cyber-résilience et la souveraineté des données sont des critères de sélection importants.

Questions fréquentes sur le stockage pour l’IA générative

Le stockage objet convient-il à l’IA générative ?

Oui. Le stockage objet peut bien convenir aux charges d’IA générative impliquant de grands jeux de données non structurées, des données sources de RAG, des référentiels de modèles, des points de contrôle et du contenu généré. Les exigences de performance doivent tout de même être évaluées charge par charge.

Le stockage de fichiers est-il meilleur que le stockage objet pour l’IA ?

Aucun n’est universellement meilleur. Le stockage de fichiers parallèle peut bien convenir aux charges d’entraînement très parallèles, tandis que le stockage objet peut offrir une meilleure évolutivité et une meilleure efficacité de la capacité pour les grands jeux de données d’IA. Certains environnements utilisent les deux.

L’IA générative exige-t-elle un stockage full flash ?

Non. Le stockage full flash peut profiter aux charges sensibles aux performances, mais tous les jeux de données d’IA générative n’exigent pas une latence de niveau flash. La capacité, le coût et la fréquence d’accès doivent aussi peser dans la décision.

Le stockage cloud convient-il à l’IA générative ?

Le stockage cloud peut être un bon choix pour les applications d’IA déjà exécutées dans le cloud public. Les organisations doivent tenir compte des coûts de transfert de données, des exigences de résidence et de l’économie de la capacité à long terme lorsqu’elles stockent de très grands jeux de données.

Quel est le meilleur stockage pour le RAG ?

Le stockage objet, le stockage de fichiers et le stockage cloud peuvent tous prendre en charge les jeux de données sources du RAG. Le meilleur choix dépend de l’échelle des données, de leur emplacement actuel, des profils d’accès et de l’intégration du pipeline RAG avec le système de stockage.

De combien de stockage l’IA générative a-t-elle besoin ?

Les besoins vont de quelques téraoctets pour les petites applications à des pétaoctets, voire des exaoctets, pour les organisations qui travaillent avec de grands jeux de données d’entraînement, des données multimédias ou de vastes référentiels de données d’entreprise. La planification de la capacité doit aussi inclure les modèles, les points de contrôle et les données générées par l’IA.

Choisir le bon stockage pour l’IA générative

Aucune technologie de stockage n’est la meilleure pour toutes les charges d’IA générative.

Le stockage objet est une option solide pour les grands jeux de données non structurées et le RAG. Le stockage de fichiers parallèle peut servir les environnements d’entraînement exigeants. La flash et le NVMe répondent aux charges où une faible latence est critique. Le stockage objet dans le cloud peut convenir aux applications bâties autour des services d’IA du cloud public.

De nombreux environnements d’entreprise combineront finalement plusieurs de ces approches.

La question utile n’est donc pas simplement « quel est le stockage le plus rapide pour l’IA ? », mais quel stockage offre la bonne combinaison de performances, d’échelle, d’accès, de protection et d’économie pour la charge d’IA générative précise que l’on construit.