3 En ce moment, une conversation revient sans cesse dans l’IT des entreprises : les outils d’IA sont choisis, les cas d’usage approuvés, le budget GPU validé, puis quelqu’un demande où se trouvent réellement les données. C’est là que les choses se compliquent. La plupart des entreprises ne sont pas freinées par les capacités de l’IA. Elles sont freinées par un socle de données qui n’a jamais été conçu pour la supporter. Dispersées entre infrastructure on-premise, clouds publics et tout ce qui se trouve entre les deux, les données d’entreprise sont souvent incohérentes, mal gouvernées et, pour tout dire, peu fiables. Selon une étude d’Enterprise Strategy Group, seules 48 % des organisations font suffisamment confiance à leurs données pour les utiliser sereinement dans des systèmes d’IA. Ce n’est pas un problème de modèle. C’est un problème de stratégie de données. Une stratégie de données solide pour le cloud hybride ne commence pas par le choix du cloud. Elle commence par la compréhension de l’endroit où vivent vos données, de la façon dont elles circulent et de leur fiabilité à grande échelle. Pour les charges de travail d’IA en particulier, poser correctement ce socle fait toute la différence entre une IA qui fonctionne en production et une IA qui reste bloquée au stade de la preuve de concept. Pourquoi le cloud hybride est la norme pour l’IA en entreprise Malgré la croissance du cloud public, les deux tiers des données d’entreprise résident encore on-premise. Ce n’est pas de l’inertie, c’est un choix délibéré. Les exigences réglementaires, les contraintes de latence, les obligations de souveraineté des données et le coût maintiennent d’importantes charges de travail on-premise, tandis que les environnements cloud prennent en charge les pics de calcul, les pipelines analytiques et l’inférence à grande échelle. Gartner a constaté que deux entreprises sur trois s’appuient sur le cloud hybride pour leurs initiatives d’IA. La logique est claire : l’IA se moque de l’endroit où vos données sont stockées. Un modèle de détection de fraude a besoin des données de transaction des systèmes bancaires centraux. Un pipeline d’IA en génomique a besoin de pétaoctets de données de séquençage issus de l’infrastructure des laboratoires. Une application de connaissance client a besoin de données comportementales provenant de plusieurs plateformes hébergées dans le cloud. Les entreprises qui réussissent avec l’IA ne centralisent pas toutes leurs données avant d’exécuter des modèles. Elles construisent une stratégie de données pour le cloud hybride qui apporte un accès, une gouvernance et des performances cohérents aux données, où qu’elles se trouvent. C’est une approche fondamentalement différente, qui change ce que votre infrastructure de stockage doit faire. Le coût caché de la fragmentation des données Interrogez la plupart des équipes IT d’entreprise sur leur préparation à l’IA : elles vous parleront de GPU, de frameworks et de choix de modèles. Demandez-leur où se trouvent leurs données d’entraînement, et la réponse se complique vite. La fragmentation des données est le tueur silencieux des initiatives d’IA. Elle s’installe progressivement (une nouvelle charge de travail cloud ici, un stockage de données départemental là) jusqu’à ce que vous ayez plusieurs versions des mêmes jeux de données, des politiques de conservation incohérentes, des contrôles d’accès qui ne couvrent pas tous les environnements et aucun moyen fiable de savoir si les données qui alimentent votre modèle sont à jour ou complètes. Pour l’IA, c’est particulièrement dommageable. La qualité d’un modèle dépend directement de la qualité des données (en anglais). Si vos données d’entraînement sont dispersées entre des environnements à la gouvernance incohérente, vous n’avez pas un problème d’IA : vous avez un problème de données déguisé en problème d’IA. Le coût ne se limite pas à la précision des modèles. Des données fragmentées obligent vos équipes à réconcilier les écarts entre systèmes au lieu de se consacrer au travail qui compte. Elles créent des failles de conformité, car les politiques ne s’appliquent pas uniformément d’un environnement à l’autre. Et pour l’IA en particulier, elles laissent des clusters de GPU inactifs parce que la couche de stockage ne peut pas les alimenter assez vite. Comprendre ce qu’exige réellement un datacenter d’IA montre à quelle vitesse le stockage, et non le calcul, devient le facteur limitant. Ce qu’exige réellement une stratégie de données hybride pour l’IA Une stratégie de données pour le cloud hybride capable de supporter des charges d’IA à grande échelle doit traiter quatre aspects que l’infrastructure traditionnelle n’a jamais été conçue pour gérer ensemble. 1. Une architecture de pipeline pensée pour l’IA dès le départ L’IA ne consomme pas les données comme les applications d’entreprise. Les volumes sont plus importants, les schémas d’accès moins prévisibles, et les défaillances de pipeline coûtent cher. Comprendre l’architecture des pipelines de données d’IA, de l’ingestion brute à la préparation, l’entraînement, les points de contrôle, l’inférence et l’archivage, est le prérequis pour bâtir une infrastructure de stockage qui ne deviendra pas le goulet d’étranglement. Chaque étape a ses propres exigences. L’ingestion nécessite des écritures séquentielles à haut débit. L’entraînement nécessite des lectures aléatoires à faible latence et à forte concurrence. Les points de contrôle nécessitent des écritures durables et immuables. L’archivage à long terme nécessite une capacité économique, avec une vitesse de récupération adaptée aux corpus RAG. Une stratégie de données pour le cloud hybride qui tente de servir toutes ces étapes avec un seul niveau de stockage indifférencié échouera sur plusieurs d’entre elles. 2. Un stockage hiérarchisé qui aligne performances et coûts Toutes les données d’IA ne se valent pas, et les traiter comme si c’était le cas est l’une des erreurs les plus coûteuses en infrastructure d’IA. Les jeux d’entraînement chauds et les artefacts de modèles actifs exigent un accès à la vitesse du flash. Les jeux de données nettoyés et étiquetés en attente du prochain entraînement peuvent tolérer une latence légèrement plus élevée pour un coût nettement inférieur. Les archives froides et les copies de conformité exigent une durabilité à long terme au prix par gigaoctet le plus bas possible. Le stockage hiérarchisé pour l’IA (en anglais) permet aux entreprises de concilier les exigences de performances des charges GPU avec la réalité économique de données à l’échelle du pétaoctet. C’est en définissant correctement la politique de hiérarchisation (automatisée, pilotée par des politiques et cohérente entre environnements hybrides) que la plupart des organisations réduisent sensiblement leurs coûts sans sacrifier les performances qui comptent vraiment. 3. Une gouvernance et une sécurité qui couvrent chaque environnement Les charges d’IA sont des cibles de grande valeur. Les jeux de données qui entraînent vos modèles, les artefacts de modèles eux-mêmes, les données clients qui alimentent l’inférence : tout cela doit être protégé avec la même cohérence, quel que soit l’endroit où les données se trouvent. Appliquer des politiques de sécurité différentes on-premise et dans le cloud, c’est ainsi que naissent les failles. Une stratégie de données pour le cloud hybride de niveau production exige une immuabilité imposée au niveau du stockage, et pas seulement au niveau des politiques. Elle exige un chiffrement, des contrôles d’accès et des pistes d’audit qui fonctionnent uniformément entre environnements. Les architectures de stockage multicloud (en anglais) dépourvues de gouvernance unifiée créent précisément le type de fragmentation qui rend l’IA d’entreprise peu fiable et difficile à auditer. 4. La capacité d’amener l’IA aux données, et non les données à l’IA C’est le principe qui change l’économie de l’IA en cloud hybride. Déplacer des données entre environnements coûte cher en dépenses directes, en latence et en complexité opérationnelle. L’instinct de tout centraliser avant d’y appliquer l’IA se comprend, mais à l’échelle de l’entreprise, c’est souvent irréaliste. Les contraintes réglementaires peuvent l’empêcher. Le volume peut le rendre prohibitif. La latence peut le rendre inacceptable. C’est pourquoi le rapatriement depuis le cloud est de plus en plus fréquent pour les entreprises qui avaient d’abord tout migré vers le cloud public : l’économie du stockage de jeux de données d’IA de plusieurs pétaoctets dans un stockage objet cloud ne tient plus une fois pris en compte les frais de sortie, le volume d’appels API et la latence induite par l’alimentation de clusters de GPU depuis un site distant. Le meilleur modèle est une infrastructure qui amène les outils d’IA aux données, où qu’elles se trouvent, et non l’inverse. Le stockage objet, standard de fait de l’infrastructure d’IA hybride Le stockage objet s’est imposé comme socle par défaut des stratégies de données d’IA en cloud hybride, pour des raisons d’architecture. Il évolue horizontalement sans silos. Il utilise des API S3 standardisées que les outils d’IA, les frameworks et les plateformes analytiques parlent déjà nativement. Il gère le mélange de données structurées et non structurées que consomment les pipelines d’IA. Et il gère l’ensemble du cycle de vie des données, des data lakes aux environnements analytiques plus structurés, sans nécessiter de système distinct pour chaque étape. C’est sur la question des performances que le débat devient plus nuancé. Le stockage objet standard est bien connu. Mais les charges d’entraînement d’IA, qui servent simultanément des centaines de nœuds de calcul, gèrent des écritures de points de contrôle et des flux d’ingestion concurrents, vont bien au-delà de ce pour quoi le stockage objet classique a été conçu. Les cas d’usage du stockage objet pour l’IA (en anglais) couvrent tout le pipeline, mais les exigences de performances varient fortement selon les étapes, et l’architecture de stockage doit en tenir compte. Une grande banque américaine qui exécute une IA de détection de fraude sur Scality RING atteint un débit de lecture de 80 Go/s par site (160 Go/s au total sur ses sites) pour servir un important cluster analytique Splunk. Une entreprise internationale de services de voyage ingère chaque jour un pétaoctet de journaux dans RING pour alimenter un data lake d’IA et d’analytique sur 14 jours glissants. Un laboratoire national français de génomique utilise RING comme référentiel pour 90 % de son pipeline de données génomiques (près de 10 pétaoctets), auquel accèdent des milliers de nœuds de calcul, pour un coût 3 à 5 fois inférieur à celui d’un stockage de fichiers tout-flash. Ce sont des chiffres de production, pas des benchmarks. Le virage stratégique : de la répartition de l’infrastructure à la cohérence des données Le cloud hybride a d’abord été une affaire de placement des charges de travail : quelles applications tournent on-premise, lesquelles dans le cloud. Cette question est en grande partie tranchée. La question plus difficile à laquelle les entreprises sont désormais confrontées est de rendre les données cohérentes, fiables et performantes dans tous ces environnements à la fois. Pour l’IA, cette question est urgente. Des modèles entraînés sur des données incohérentes produisent des résultats incohérents. Des applications d’inférence alimentées par des data lakes fragmentés produisent des résultats auxquels on ne peut pas se fier. Les défis du big data et de l’analytique (en anglais) qui ont toujours existé au niveau du stockage sont amplifiés lorsque l’IA en est le consommateur, et les enjeux d’une erreur sont plus élevés. Les entreprises qui réussissent avec l’IA ne sont pas forcément celles qui ont les modèles les plus avancés. Ce sont celles qui disposent d’une stratégie de données pour le cloud hybride capable de fournir des données propres, cohérentes et à haut débit à toute charge d’IA qui en a besoin, sur l’infrastructure on-premise, dans plusieurs clouds et partout entre les deux. La répartition de l’infrastructure était le premier chapitre. La cohérence des données est celui qui détermine si l’IA tient réellement ses promesses. Envie de voir ce que cela donne dans votre environnement ? Scality RING est conçu pour chaque étape du pipeline de données d’IA en entreprise, de l’ingestion dans des data lakes de plusieurs pétaoctets à l’entraînement à haut débit, aux points de contrôle et à l’archivage à long terme, dans des environnements hybrides et multicloud, sans dépendance à un fournisseur. Demander une démo personnalisée avec un ingénieur Scality → Pour aller plus loin Pipelines de données d’IA : architecture, étapes et bonnes pratiques : une analyse approfondie de la structure des pipelines d’IA en entreprise, de l’ingestion brute à l’inférence et à l’archivage. Stockage hiérarchisé pour l’IA : performances évolutives et maîtrise des coûts (en anglais) : comment aligner les niveaux de performances du stockage sur les étapes de votre pipeline d’IA sans surinvestir dans le flash. Qu’est-ce qu’un datacenter d’IA ? : les composants d’infrastructure qui distinguent les environnements conçus pour l’IA des datacenters généralistes. Data lake ou data warehouse : architecture, coûts et cas d’usage : quelle architecture de stockage pour quelle charge analytique ou d’IA, et quand utiliser les deux. Cas d’usage du stockage objet (en anglais) : un panorama concret de la place du stockage objet dans la sauvegarde, l’analytique, l’IA et les applications cloud-native. Stockage multicloud : architecture, avantages et stratégie (en anglais) : comment concevoir une architecture de stockage multicloud sans créer la fragmentation qui nuit à la fiabilité de l’IA. Rapatriement depuis le cloud : stratégie, coûts et guide : pourquoi les entreprises ramènent leurs charges de données d’IA on-premise, et comment évaluer si c’est pertinent pour votre environnement. Résoudre les défis du big data et de l’analytique avec le stockage objet (en anglais) : des exemples réels de charges analytiques de plusieurs pétaoctets sur stockage objet, dont un déploiement d’un pétaoctet par jour dans les services de voyage. Mise à l’échelle multidimensionnelle pour l’IA et le stockage cloud (en anglais) : pourquoi augmenter la capacité ne suffit pas pour les charges d’IA modernes, et quelles dimensions comptent vraiment. La sauvegarde en cloud hybride : fonctionnement et usages : la dimension protection des données de la stratégie de cloud hybride, car des jeux de données d’IA impossibles à restaurer sont des jeux de données auxquels on ne peut pas se fier.
