2 L’entraînement des modèles de fondation pose des défis de stockage sans précédent. Un grand modèle exige des pétaoctets de texte, de code et de données non structurés, soit des centaines de milliards, voire des milliers de milliards de tokens. Ces données doivent être stockées de manière sécurisée, accessibles de manière fiable, versionnées pour la reproductibilité, sauvegardées et chiffrées. Les données elles-mêmes sont un actif essentiel. Les modèles concurrents utilisent des sources similaires, mais la composition et la curation des données influent directement sur les performances. Pour les organisations qui développent des modèles de fondation, le stockage des données est une compétence clé, et non une infrastructure secondaire. Cet article aborde la gestion des jeux de données, la vérification de l’intégrité, les stratégies de sauvegarde et l’architecture de stockage nécessaire pour mener des entraînements de plusieurs mois sans goulot d’étranglement. L’échelle et la complexité des données des modèles de fondation Les jeux de données des modèles de fondation diffèrent fondamentalement des données opérationnelles. Les entrepôts de données d’entreprise contiennent des centaines de téraoctets ; les modèles de fondation s’entraînent sur des pétaoctets (1 000 téraoctets chacun). De nombreux modèles de pointe utilisent 10 à 100 pétaoctets. Cette échelle crée des défis pour lesquels le stockage traditionnel n’a pas été conçu. Les données proviennent de sources variées : textes du web, livres, archives, articles, dépôts de code. Combiner des milliers de sources implique des formats, des encodages et des niveaux de qualité hétérogènes. Certaines sources sont de grande qualité, d’autres bruitées. Une grande partie contient des informations personnelles, des contenus protégés par le droit d’auteur ou des données propriétaires. Filtrer et curer ces données pour améliorer leur qualité tout en gérant les risques juridiques est devenu un travail spécialisé. Le versionnage des données ajoute de la complexité. Les entraînements ne se répètent pas à l’identique avec les mêmes jeux de données : les chercheurs découvrent des problèmes de qualité ou constatent que d’autres sources améliorent les performances. Chaque entraînement utilise des variantes différentes, avec d’autres filtres ou une autre déduplication. Votre stockage doit prendre en charge plusieurs versions, documentées par des métadonnées et reliées aux modèles entraînés. Lorsque les chercheurs ont besoin de « la version 2.3 du corpus de base plus 50 milliards de tokens curés », votre stockage évolutif pour les pipelines d’IA (en anglais) doit pouvoir reproduire exactement cette combinaison. Garanties d’intégrité et de reproductibilité des données Les modèles de fondation sont évalués sur leur reproductibilité. Un modèle entraîné par une organisation doit pouvoir être reproduit par d’autres avec les mêmes données et les mêmes hyperparamètres. Lorsque les performances divergent, l’intégrité des données peut être en cause : sommes de contrôle discordantes, corruption ou bogues de chargement. Pour les organismes de recherche, une défaillance d’intégrité ruine la crédibilité. Cela exige plusieurs niveaux de vérification. D’abord, utilisez des sommes de contrôle cryptographiques pour toutes les données. Avant l’entraînement, calculez l’empreinte SHA-256 des jeux de données et stockez-la à côté des données. Au démarrage de l’entraînement, recalculez les empreintes pour vérifier l’intégrité : si un seul octet a changé à la suite d’une corruption ou d’une erreur, la discordance est détectée immédiatement. Ensuite, utilisez un stockage immuable. Une fois une version de jeu de données finalisée, stockez-la de manière immuable, sans modification ni suppression possible. Les fournisseurs cloud proposent des snapshots immuables et le verrouillage d’objets. Vous empêchez ainsi toute modification accidentelle ou intentionnelle une fois l’entraînement lancé. Les chercheurs qui découvrent des problèmes de qualité créent de nouvelles versions au lieu de modifier les originaux. Enfin, conservez des pistes d’audit qui documentent tous les accès et toutes les modifications : qui a accédé aux données, quand et pour quelles opérations. Si le comportement d’un modèle semble anormal ou si des régulateurs auditent la provenance des données, les pistes d’audit retracent précisément ce qui s’est passé, de la collecte à l’entraînement. Gérer les flux de données à l’échelle du pétaoctet L’accès aux données à grande échelle pendant l’entraînement est un défi souvent sous-estimé. Un entraînement sur 100 pétaoctets pendant 90 jours exige 1,3 To par heure en continu. Le stockage doit tenir ce rythme sans brider un calcul coûteux (GPU et TPU facturés des milliers de dollars de l’heure). Cela impose de repenser l’architecture des données. À grande échelle, un stockage centralisé traditionnel devient un goulot d’étranglement. Une architecture scale-out est indispensable : les données sont réparties sur de nombreux nœuds et lues en parallèle par les clients. Des milliers de GPU doivent pouvoir lire simultanément depuis des centaines de nœuds de stockage. La localité des données est également déterminante. En entraînement distribué, chaque nœud de calcul gagne à accéder à un stockage local, ce qui réduit la latence et la congestion. Certaines organisations conservent plusieurs répliques des données dans différents data centers, les tâches d’entraînement lisant de préférence la copie locale. Mais cela crée de la complexité : des copies de plusieurs pétaoctets doivent rester synchronisées, et chaque changement de version doit se propager partout. Par ailleurs, la bande passante réseau est souvent le véritable goulot d’étranglement. Si les clusters d’entraînement sont en Amérique du Nord et les données en Europe, toutes les données transitent par des liaisons intercontinentales. Les organisations colocalisent de plus en plus les données d’entraînement avec le calcul ou utilisent des liaisons dédiées à haut débit. Les coûts réseau peuvent rivaliser avec ceux du stockage. Sécurité et protection de la propriété intellectuelle Les données d’entraînement des modèles de fondation sont une propriété intellectuelle précieuse. La curation, le filtrage et le choix des sources contribuent aux performances, et vos concurrents auraient tout intérêt à connaître vos données et vos méthodes de sélection. Ces données contiennent en outre souvent des informations propriétaires ou sensibles. Les protéger contre le vol exige des contrôles solides. Le chiffrement au repos et en transit est indispensable. Chiffrez toutes les données en AES-256, stockez les clés de chiffrement séparément dans des systèmes sécurisés et utilisez des protocoles chiffrés (TLS) entre le calcul et le stockage. Journalisez et limitez l’accès aux seuls processus autorisés. Dans les secteurs réglementés (finance, santé, secteur public), les données d’entraînement peuvent contenir des contenus personnels ou réglementés. Les cadres de conformité imposent chiffrement et contrôles d’accès. Les sous-traitants de l’État qui manipulent des informations classifiées ont besoin d’un stockage isolé (air gap) ou de réseaux séparés, où les données ne quittent jamais les installations sécurisées. Mettez en place un contrôle d’accès basé sur les rôles. Les chercheurs consultent les métadonnées, et non les données brutes (auxquelles accèdent les tâches d’entraînement). Les administrateurs gèrent le stockage sans accéder aux données. Cette séparation évite les expositions accidentelles et réduit le risque de menace interne. Sauvegarde et reprise après sinistre des données d’entraînement À l’échelle du pétaoctet, la sauvegarde est indispensable mais complexe. Vous devez vous protéger contre la corruption, le vol, les ransomwares et les sinistres. Or sauvegarder 100 pétaoctets est coûteux et lent, et les approches traditionnelles (copier les données vers des sites secondaires) deviennent prohibitives. Une sauvegarde hiérarchisée réduit les coûts tout en maintenant la protection. Les données d’entraînement récentes (les pétaoctets actifs) sont sauvegardées vers des répliques géographiques ou un stockage isolé. Les versions plus anciennes sont sauvegardées moins souvent, avec des délais de restauration plus longs. Les jeux de données les plus anciens sont archivés sur un stockage froid (bande ou archivage cloud), avec une restauration lente mais un coût minimal. Surtout, privilégiez la restauration à partir de snapshots plutôt que les sauvegardes complètes. Prenez fréquemment des snapshots à un instant donné ; en cas de corruption, restaurez depuis le dernier snapshot sain. Grâce au copy-on-write (seuls les blocs modifiés sont stockés), les snapshots consomment bien moins d’espace que des copies complètes. Un jeu de données de 100 pétaoctets peut bénéficier de snapshots quotidiens pour un surcoût d’environ 10 % seulement, ce qui rend la restauration réaliste. Pour les organisations qui entraînent leurs modèles sur des données propriétaires, la sécurité des sauvegardes devient critique : les sauvegardes elles-mêmes deviennent des cibles de grande valeur pour le vol ou les ransomwares. Mettez en place une sauvegarde résistante aux ransomwares (en anglais), avec des copies isolées, immuables et hors ligne, accessibles uniquement via des procédures contrôlées. Autre option : conserver des copies dans des régions ou chez des fournisseurs distincts pour réduire le risque de compromission. Une infrastructure de versionnage et de reproductibilité Gérer plusieurs versions de jeux de données exige une infrastructure dédiée. Conservez les métadonnées de versionnage à côté des données : sources exactes, filtrage, déduplication, dates de création, sommes de contrôle et modèles entraînés. Ces métadonnées aident les chercheurs à comprendre pourquoi des entraînements similaires produisent des modèles différents. Certaines organisations mettent en place des systèmes de versionnage des jeux de données inspirés de Git, qui suivent les changements, permettent de revenir à une version précédente et de créer des branches pour l’expérimentation. Mais un véritable contrôle de version à l’échelle du pétaoctet est difficile : Git classique stocke des copies complètes, ce qui serait prohibitif. Des outils spécialisés comme DVC (Data Version Control) adoptent des approches plus efficaces : uniquement des métadonnées et des pointeurs, avec du copy-on-write pour les modifications. La documentation est par ailleurs essentielle. Chaque version doit préciser ses sources de données, son filtrage, ses contrôles qualité et son nombre de tokens. Cette documentation aide les futurs chercheurs et est indispensable lors des audits réglementaires qui interrogent la composition des données. Une architecture pratique : un stockage multiniveau pour l’entraînement des modèles de fondation Une infrastructure réaliste se présente ainsi : Niveau chaud : les données d’entraînement actives, sur un stockage objet distribué et rapide de type stockage IA haute capacité, situé à proximité du calcul. Les données sont chiffrées, leurs accès journalisés et elles sont protégées par des snapshots. Niveau tiède : les versions récentes des jeux de données hors entraînement actif, sur un stockage optimisé en coût dans la même région, chiffrées et protégées par des snapshots. Niveau froid : les anciennes versions des jeux de données, archivées sur un stockage à long terme (cloud ou bande) à coût minimal. Niveau de restauration : des snapshots automatisés des niveaux chaud et tiède permettent une restauration à un instant donné, avec des politiques de conservation qui arbitrent entre protection et coût. Niveau de sauvegarde : les jeux de données d’entraînement les plus récents sont sauvegardés sur un stockage géographiquement éloigné ou isolé, pour se protéger d’un sinistre régional ou d’un ransomware. Cette architecture équilibre performances, fiabilité et coût. Conclusion : les données des modèles de fondation, une infrastructure critique Les données d’entraînement des modèles de fondation sont désormais une infrastructure stratégique. Les organisations qui traitent le stockage après coup s’exposent à des échecs de reproductibilité, à des risques de sécurité et à des dépassements de coûts. Celles qui bâtissent une infrastructure dédiée accélèrent leurs cycles, améliorent la reproductibilité et renforcent leur sécurité. Commencez par évaluer votre infrastructure actuelle. Pouvez-vous tenir le débit nécessaire ? Vérifier l’intégrité ? Prendre en charge le versionnage ? Restaurer rapidement ? Sinon, l’infrastructure de stockage est votre priorité. Votre prochain projet de modèle de fondation doit intégrer un stockage dédié dès le premier jour. Son coût reste modeste au regard des ressources de calcul et de la valeur du modèle. Investissez maintenant pour accélérer vos cycles et protéger vos actifs d’IA. Pour aller plus loin Stratégie de données en cloud hybride pour les charges de travail d’IA (en anglais) Pipelines de données d’IA : architecture, étapes et bonnes pratiques (en anglais) Protéger ses sauvegardes contre les ransomwares : des sauvegardes immuables et restaurables (en anglais) Le chiffrement des données : guide pour les responsables conformité et IT (en anglais) Bonnes pratiques d’archivage des données (en anglais) Stockage IA haute capacité (en anglais)
