3 Les données cliniques vivent en silos. Les plateformes de DPI, les archives d’imagerie PACS, les bases de données génomiques, les systèmes d’information de laboratoire et les flux de surveillance en temps réel utilisent des formats différents, fonctionnent sur des infrastructures distinctes et relèvent de régimes de conformité différents. Construire des pipelines de données cliniques efficaces pour l’IA consiste à relier ces sources sans perdre de données, sans porter atteinte à la confidentialité des patients et sans créer une architecture de stockage qui s’effondre sous les charges de travail GPU que vous vous apprêtez à exécuter. Ce guide passe en revue chaque étape d’un pipeline de données cliniques pour l’IA — de l’ingestion brute à l’archivage à long terme — avec les exigences de stockage concrètes, les contraintes réglementaires et les modèles de conception destinés aux équipes plateforme de données des hôpitaux, des instituts de recherche et des laboratoires pharmaceutiques. Que sont les pipelines de données cliniques pour l’IA ? Les pipelines de données cliniques pour l’IA sont les systèmes d’ingénierie des données de bout en bout qui font passer les données des patients et de la recherche de leurs systèmes sources à une forme exploitable par les modèles d’IA — puis qui réinjectent les résultats des modèles dans les workflows cliniques ou opérationnels. Un pipeline mature couvre six étapes : L’ingestion — collecte depuis les DPI (HL7 FHIR, HL7 v2), les archives d’imagerie DICOM, les résultats de séquençage génomique, les flux des objets connectés et les systèmes de laboratoire La normalisation et l’annotation — standardisation des terminologies (SNOMED, CIM-10, LOINC), traitement des valeurs manquantes et désidentification L’ingénierie des caractéristiques et les embeddings — transformation des dossiers structurés et non structurés en représentations vectorielles, caractéristiques tabulaires ou tenseurs multimodaux L’entraînement des modèles et les checkpoints — répartition des entraînements sur plusieurs GPU, avec des checkpoints fréquents pour ne pas perdre la progression des exécutions de plusieurs jours L’inférence et le service — exécution des modèles entraînés sur des données cliniques en direct ou par lots pour produire des prédictions, des scores de risque ou des recommandations L’archivage et la conservation pour audit — conservation des données brutes et des artefacts de modèles selon les calendriers réglementaires (HIPAA, GxP, 21 CFR Part 11) L’enseignement essentiel est que chaque étape a des exigences de stockage radicalement différentes. Un pipeline qui traite toutes les données cliniques de la même façon paiera trop cher (en stockant des archives génomiques froides sur NVMe) ou sera bloqué (en entraînant des modèles sur des HDD lents). Le problème de la fragmentation dans l’IA clinique La plupart des équipes plateforme de données des hôpitaux et des laboratoires pharmaceutiques consacrent 60 à 70 % du temps de leurs projets d’IA à l’ingénierie des données, et non au développement des modèles. Les causes sont prévisibles : Des systèmes sources hétérogènes. Un même centre hospitalo-universitaire peut exploiter trois éditeurs de DPI, un PACS ancien, un routeur DICOM moderne, un pipeline de séquençage de nouvelle génération et une douzaine de bases de données départementales. Chacun exporte ses données selon des schémas et des calendriers différents. L’incompatibilité des formats. Les images DICOM, les séquences génomiques FASTA, les flux de messages HL7, les tables OMOP CDM et les notes cliniques en texte libre exigent des stratégies d’analyse, de normalisation et de stockage complètement différentes. Un pipeline qui gère bien l’un de ces formats en gère généralement mal un autre. La fragmentation réglementaire. La désidentification Safe Harbor de HIPAA doit intervenir avant que les données ne franchissent certaines limites. Les pistes d’audit GxP exigent des journaux immuables à chaque étape de transformation. Certaines données de recherche européennes ne peuvent pas quitter des juridictions précises. Ces contraintes interagissent entre elles et avec le pipeline technique d’une manière qui n’apparaît clairement qu’en cas de problème. L’asymétrie des volumes. Un seul service de radiologie produit des téraoctets de données DICOM par semaine. Une étude de cohorte génomique peut produire des centaines de téraoctets en une seule exécution de séquençage. Entraîner un modèle de fondation multimodal sur les deux exige une infrastructure capable d’absorber des pics d’ingestion sans ralentir le reste du pipeline. Architecture des étapes du pipeline et exigences de stockage Le tableau ci-dessous associe chaque étape du pipeline à sa température de stockage, à ses exigences de performances et à la durée de vie des données. Utilisez-le comme premier guide d’infrastructure. ÉtapeTempérature de stockageObjectif de performances typeConservation / cycle de vieTampon d’ingestion bruteChaud (NVMe / SSD QLC)Débit d’écriture de plusieurs Go/sQuelques jours à quelques semaines ; transfert vers le niveau normaliséEspace de travail de normalisationChaud (QLC/NL-SSD)IOPS élevées, lecture aléatoireQuelques jours ; purge après validationFeature store / embeddingsTiède (NL-HDD ou SSD dense)Bande passante de lecture élevée pour l’entraînementPlusieurs mois ; versionnement et snapshotsCheckpoints d’entraînementChaud pendant l’exécution ; tiède ensuiteÉcriture à faible latence pendant l’entraînementDurée du projet + conservation réglementaireCache d’inférence (KV / index RAG)Chaud (NVMe / GPU-Direct)Latence inférieure à la millisecondeDurée de la session ou courteArtefacts de modèlesTiède à froidLecture modérée au déploiementDurée du projet + délai d’auditJournaux d’audit et lignageFroid (proche de la bande ou cloud)Écriture en ajout uniquement7 à 10 ans (minimum HIPAA/GxP)Archive génomique / d’imagerie à long termeFroidRécupération en masse uniquement20 à 30 ans (selon les juridictions) La couche d’ingestion La couche d’ingestion est l’endroit où se rencontrent vélocité et diversité des données. Les routeurs DICOM peuvent envoyer en continu des examens de plusieurs gigaoctets ; les flux de messages HL7 arrivent par rafales lors des changements d’équipe ; les résultats des pipelines génomiques arrivent sous forme de gros fichiers séquentiels. Exigence de stockage : un débit d’écriture élevé avec la sémantique du stockage objet. Des points de terminaison compatibles S3 permettent de standardiser les connecteurs sources sans adaptateurs spécifiques pour chaque système en amont. Les sommes de contrôle à l’écriture et le verrouillage immuable des objets protègent contre la corruption pendant l’ingestion. La normalisation et l’annotation La désidentification, le mappage terminologique et le filtrage qualité s’exécutent sous forme de jobs de transformation — souvent des pipelines Spark ou Dask distribués. Le résultat est un jeu de données normalisé que les outils de ML en aval peuvent exploiter sans dépendre des systèmes sources. Exigence de stockage : des IOPS élevées en lecture aléatoire pour les workers de transformation qui lisent les objets bruts, ainsi qu’une écriture rapide pour les données nettoyées. L’étiquetage des métadonnées à cette étape est essentiel : chaque enregistrement normalisé doit porter sa provenance (système source, version de la transformation, méthode de désidentification) sous forme de métadonnées d’objet ou de manifeste associé. Consultez le stockage S3 conforme pour les données réglementées (en anglais) pour les modèles d’application du contrôle d’accès et des pistes d’audit à cette étape. L’ingénierie des caractéristiques et les embeddings L’ingénierie des caractéristiques convertit les dossiers cliniques normalisés en représentations sur lesquelles les modèles peuvent s’entraîner : vecteurs de caractéristiques tabulaires, embeddings de texte, tenseurs d’images ou représentations en graphe pour les graphes de connaissances. Pour les workflows de génération augmentée par récupération (RAG), cette étape produit aussi des embeddings vectoriels stockés dans un index vectoriel. Exigence de stockage : une bande passante de lecture séquentielle élevée pour les chargeurs de données d’entraînement, ainsi qu’un stockage efficace des index vectoriels. Consultez le stockage pour bases de données vectorielles et le stockage des données d’IA multimodale pour une analyse approfondie du stockage des embeddings. Pour en savoir plus sur l’architecture de stockage RAG dans les workflows d’IA, consultez la génération augmentée par récupération et le stockage pour l’IA. L’entraînement des modèles et les checkpoints Les jobs d’entraînement distribués — qu’il s’agisse d’affiner un modèle de NLP clinique ou d’entraîner un modèle d’imagerie multimodal — produisent fréquemment des fichiers de checkpoint. Le checkpoint d’un modèle de 70 milliards de paramètres peut dépasser 140 Go ; les jobs qui s’exécutent pendant plusieurs jours peuvent en produire des dizaines. Exigence de stockage : un accès GPU-Direct pendant l’entraînement actif (latence inférieure à 50 µs entre le GPU et le stockage) ; un stockage objet tiède pour l’archivage des checkpoints. Perdre un checkpoint lors d’un entraînement de 96 heures est une erreur coûteuse : le stockage des checkpoints doit être durable et immédiatement accessible. L’inférence et le service Le service d’inférence en production pour l’aide à la décision clinique exige une récupération à faible latence des artefacts de modèles et, pour les systèmes fondés sur le RAG, un accès rapide aux index vectoriels et aux magasins de documents. Le cache KV de l’inférence des grands modèles de langage doit être situé à proximité du calcul GPU. Exigence de stockage : un stockage de niveau NVMe avec accès S3 sur RDMA pour le cache KV. La latence à ce niveau influe directement sur le temps de réponse pour les cliniciens et les workflows automatisés en aval. L’archivage et la conservation pour audit Chaque étape du pipeline génère des données qui doivent être conservées pour la conformité : dossiers sources bruts, manifestes de transformation, versions de modèles, journaux d’inférence et pistes d’audit. HIPAA impose une conservation minimale de six ans pour la plupart des dossiers ; les GxP, dans le cadre du 21 CFR Part 11, exigent l’intégrité des pistes d’audit pendant toute la durée de vie du produit. Les données génomiques peuvent être soumises à des obligations de conservation de 20 à 30 ans selon la juridiction. Exigence de stockage : un stockage objet peu coûteux, proche de la bande ou de niveau cloud, avec application du WORM (write once, read many) et Object Lock. Lisez la politique de conservation des données : définition, exemples et bonnes pratiques pour les modèles de conception du cycle de vie. Pour les transitions automatisées entre niveaux, consultez la politique de cycle de vie S3. Les contraintes réglementaires des pipelines d’IA clinique HIPAA et la désidentification La Privacy Rule de HIPAA exige que les informations de santé protégées (PHI) soient désidentifiées avant de pouvoir être utilisées pour la plupart des entraînements d’IA et des travaux de recherche. Deux méthodes sont reconnues : Safe Harbor (suppression de 18 identifiants spécifiques) et Expert Determination (démonstration statistique que le risque de réidentification est suffisamment faible). Conséquence pour le pipeline : la désidentification doit être une étape de transformation documentée et auditable. Les données identifiées brutes et les données désidentifiées doivent être stockées sous des contrôles d’accès différents, et le journal de transformation doit être conservé. Les ACL au niveau des objets et les pistes d’audit immuables ne sont pas facultatives : ce sont les mécanismes mêmes de la conformité. Pour une analyse approfondie de l’architecture de stockage conforme HIPAA, consultez le stockage conforme HIPAA. GxP et 21 CFR Part 11 Les pipelines d’IA pharmaceutique qui alimentent des soumissions réglementaires — modèles d’efficacité des médicaments, détection de signaux de sécurité, analyse des données d’essais cliniques — doivent respecter les normes de qualité GxP et, pour les enregistrements électroniques, le 21 CFR Part 11. Cela implique : Des signatures électroniques sur les enregistrements de données et les étapes de transformation Des pistes d’audit qui consignent chaque lecture, écriture et modification avec l’horodatage et l’identité de l’utilisateur Une documentation de validation de l’infrastructure même du pipeline Un stockage qui produit des journaux d’audit vérifiables cryptographiquement et prend en charge la sémantique WORM est une exigence de conformité, et non un simple plus. Souveraineté des données et contraintes transfrontalières Les essais cliniques européens soumis au RGPD, les données de la UK Biobank et certains programmes nationaux de génomique limitent les lieux où les données des patients peuvent être traitées et stockées. Un pipeline qui fait transiter les données par une région cloud américaine sans accords explicites de traitement des données constitue un risque de non-conformité. Conséquence pour le pipeline : un stockage sur site ou en cloud privé avec des limites géographiques explicites. Le plan de contrôle et le plan de données du pipeline doivent tous deux respecter les contraintes de souveraineté. Comment Scality ADI prend en charge les pipelines d’IA clinique Scality ADI (Autonomous Data Infrastructure) est conçu précisément pour ce type de charge de travail d’IA réglementée et en plusieurs étapes. Il prend en charge l’intégralité du flux de données d’IA : ingestion → préparation → RAG agentique multimodal / VSS / agents de recherche approfondie / cache KV → checkpoints → embeddings → journaux → conservation à long terme. Sa conception multi-températures correspond directement aux étapes du pipeline clinique décrites ci-dessus : Niveau GPU-Direct (flash TLC + S3 sur RDMA, latence inférieure à 50 µs) : cache KV d’inférence, entraînements actifs, recherches d’embeddings en temps réel Niveau chaud (QLC/NL-SSD, débit de plusieurs To/s) : tampons d’ingestion, espaces de travail de normalisation, feature stores actifs Niveau tiède (NL-HDD/HDD) : archives de checkpoints d’entraînement, artefacts de modèles versionnés, index vectoriels entre deux entraînements Niveau froid (proche de la bande ou du cloud) : archives génomiques et d’imagerie à long terme, journaux d’audit, conservation réglementaire HIPAA et GxP Pour les équipes cliniques et pharmaceutiques, le framework CORE5 de Scality ADI (Capacity, Operations, Resilience, Efficiency, Security) répond directement aux exigences de préparation aux audits. Object Lock immuable, pistes d’audit cryptographiques et contrôles d’accès basés sur les rôles sont intégrés à la couche de stockage, et non ajoutés après coup. Les données désidentifiées, les journaux de transformation et les enregistrements de lignage des modèles peuvent ainsi tous être conservés sur la même infrastructure conforme que celle qui stocke les données cliniques brutes. Le contrôle souverain est une capacité de premier plan. Scality ADI fonctionne entièrement sur site ou dans un environnement de cloud privé, ce qui signifie que les données des patients ne quittent jamais une infrastructure que vous contrôlez. C’est important pour la couverture BAA de HIPAA, les périmètres de validation GxP et les exigences de souveraineté des données transfrontalières dans la recherche clinique européenne et britannique. L’article le stockage hiérarchisé pour l’IA : performances évolutives et maîtrise des coûts (en anglais) présente le modèle de stockage hiérarchisé plus large qui sous-tend la conception multi-températures de Scality ADI. Questions fréquentes Que sont les pipelines de données cliniques pour l’IA ? Les pipelines de données cliniques pour l’IA sont les systèmes d’ingénierie des données de bout en bout qui font passer les données des patients et de la recherche — issues des DPI, des PACS, des systèmes de génomique et des bases de données de laboratoire — par les étapes d’ingestion, de normalisation, d’ingénierie des caractéristiques, d’entraînement des modèles, d’inférence et d’archivage, afin que les modèles d’IA puissent être entraînés, validés et déployés sur des données cliniques. Quelles sont les exigences de stockage des pipelines d’IA clinique ? Elles varient fortement selon l’étape du pipeline. L’entraînement actif nécessite un stockage de niveau NVMe avec accès GPU-Direct et une latence inférieure à la milliseconde. Les feature stores normalisés et les checkpoints nécessitent un stockage tiède à bande passante élevée. Les archives à long terme pour la conservation HIPAA ou GxP nécessitent un stockage objet peu coûteux et compatible WORM. Une architecture de stockage à température unique ne peut pas servir efficacement toutes les étapes : le stockage hiérarchisé avec des politiques de cycle de vie automatisées est l’approche standard. Comment la conformité HIPAA s’applique-t-elle aux pipelines de données cliniques pour l’IA ? HIPAA exige que tout pipeline traitant des informations de santé protégées comprenne une désidentification documentée, des pistes d’audit pour chaque accès et chaque transformation des données, des contrôles d’accès basés sur les rôles et la conservation des enregistrements de conformité pendant au moins six ans. L’infrastructure de stockage doit prendre en charge la journalisation d’audit immuable, l’Object Lock WORM pour la conservation et le chiffrement au repos et en transit. Les données d’entraînement désidentifiées et les dossiers sources identifiés doivent être stockés sous des contrôles d’accès distincts. Quel est le rôle du stockage hiérarchisé dans l’infrastructure d’IA clinique ? Le stockage hiérarchisé affecte les données au niveau de performances et de coût adapté en fonction de leur mode d’accès. Le stockage NVMe chaud sert les charges de travail d’entraînement et d’inférence actives, pour lesquelles la latence compte. Les niveaux tièdes à base de HDD conservent les feature stores, les artefacts de modèles et les checkpoints consultés fréquemment mais pas en temps réel. Les niveaux froids ou proches de la bande conservent les archives à long terme et les journaux d’audit, qui ne sont parfois lus que lors des audits de conformité. Sans stockage hiérarchisé, les équipes d’IA clinique dépensent trop en flash pour des archives froides ou bloquent leurs entraînements sur des disques lents. Consultez stockage chaud vs stockage froid pour une analyse complète. Pour aller plus loin Le stockage conforme HIPAA Le stockage S3 conforme pour les données réglementées (en anglais) La génération augmentée par récupération et le stockage pour l’IA Le stockage hiérarchisé pour l’IA : performances évolutives et maîtrise des coûts (en anglais) Un stockage des données d’IA sans obstacles (en anglais) La politique de conservation des données : définition, exemples et bonnes pratiques La longévité est-elle importante pour les données de santé ? (en anglais)
