3 Le séquençage est devenu bon marché, et c’est précisément pour cela que le stockage est devenu difficile. Un seul séquençage de génome complet produit des centaines de gigaoctets de données, et un laboratoire ou une plateforme très active traite des centaines, voire des milliers d’échantillons par an. Il en résulte une croissance continue et cumulative de données qui doivent être conservées pendant des années. Le véritable défi tient rarement à la capacité brute. Il s’agit de gérer toute la vie de ces données, des pipelines rapides d’aujourd’hui jusqu’à une archive à long terme défendable, sans explosion des coûts et sans perdre la reproductibilité, la confidentialité et la capacité de partage dont dépend la science. À quoi ressemblent réellement les données génomiques La génomique n’est pas un type de fichier unique mais un pipeline, et chaque étape présente un profil de stockage très différent. Les lectures brutes arrivent sous forme de fichiers FASTQ directement issus du séquenceur. Ils sont volumineux, environ 90 à 120 Go chacun pour un génome complet, et un seul projet génère souvent 100 à 200 Go de FASTQ bruts. Le pipeline effectue ensuite le contrôle qualité, le nettoyage des lectures et leur alignement sur un génome de référence, ce qui produit des données alignées au format BAM, qui atteignent couramment 200 à 300 Go par exécution. Le format CRAM est une alternative de plus en plus prisée au BAM : il utilise une compression basée sur la référence qui réduit la taille des fichiers d’environ moitié, ce qui le rend bien adapté à l’archivage à long terme des données alignées. Enfin, l’appel de variants produit des fichiers VCF, des enregistrements compacts et standardisés de la variation génétique, comme les SNP, les insertions, les délétions et les variants structuraux. Ce sont généralement les VCF que les laboratoires échangent entre eux. Autour de tout cela gravitent les données des instruments, les images et les génomes de référence partagés. Le point important pour le stockage : un projet terminé laisse derrière lui de gros fichiers bruts et alignés rarement réutilisés, ainsi que de petits fichiers de variants utilisés en permanence. Il n’existe pas de solution unique. Pourquoi le stockage génomique est particulièrement difficile Plusieurs pressions s’accumulent en même temps. La croissance est exponentielle. À mesure que les coûts de séquençage baissent, le volume d’échantillons augmente, et pour les organisations qui traitent des centaines ou des milliers d’échantillons par an, le coût du stockage s’accumule vite, surtout lorsque tout atterrit sur un NAS primaire coûteux. Les fichiers sont énormes : même des opérations courantes comme la copie, la sauvegarde ou le déplacement des données deviennent lentes et coûteuses à l’échelle du pétaoctet. La plupart des données refroidissent rapidement. Une fois un fichier FASTQ traité, il est rarement relu, mais il reste souvent sur le stockage primaire, car les outils standard peinent à distinguer un fichier récent dont on pourrait avoir besoin rapidement d’une archive vieille de trois ans issue d’une étude terminée. La conservation est longue et non négociable. Les données brutes doivent être conservées pour la reproductibilité, pour des raisons réglementaires et parce qu’une nouvelle analyse avec des génomes de référence et des méthodes améliorés peut tirer de nouveaux résultats d’anciens échantillons des années plus tard. Les supprimer détruit leur valeur future. À cela s’ajoutent la collaboration et le partage entre institutions, des règles de confidentialité strictes et des contraintes de résidence des données. Les données génomiques comptent parmi les plus exigeantes et les plus sensibles de l’informatique d’entreprise. Le cycle de vie : du chaud au froid La stratégie gagnante traite les données génomiques selon leur stade de vie plutôt que de tout stocker de la même manière. Pendant l’analyse active, les données sont chaudes. Les pipelines, l’alignement et l’appel de variants exigent un accès rapide et parallèle, et c’est là que les performances comptent le plus. Une fois un projet traité, les données FASTQ brutes et BAM alignées deviennent froides. Elles doivent toujours être conservées, mais n’ont pas besoin de résider sur le niveau le plus rapide et le plus coûteux. C’est là qu’une stratégie du chaud vers le froid (en anglais) délibérée porte ses fruits : compresser les données alignées en CRAM et utiliser des politiques de cycle de vie (en anglais) automatisées pour déplacer les données froides du stockage primaire vers une capacité économique, sans que personne n’ait à s’en occuper. La discipline essentielle est de hiérarchiser, pas de supprimer. L’archivage à long terme (en anglais) garde les données disponibles pour les nouvelles analyses qui rendent la génomique cumulative, tout en les retirant du niveau qui grève le budget. Des performances pour les pipelines, le HPC et l’IA La génomique est gourmande en calcul. Les analyses secondaires et tertiaires s’exécutent sur des clusters HPC, et de plus en plus dans des workflows d’IA et de machine learning pour l’interprétation des variants, la multiomique et même les modèles de fondation génomiques. Tous lisent et écrivent de gros fichiers en parallèle ; la couche de stockage doit donc fournir un débit agrégé élevé à de nombreux nœuds simultanément. Si le stockage ne parvient pas à alimenter le pipeline et le pipeline de données d’IA (en anglais), une puissance de calcul coûteuse reste inactive en attendant les données. L’objectif est une plateforme dont le débit évolue avec le cluster, afin que le stockage ne devienne jamais le goulet d’étranglement d’une analyse urgente. Confidentialité, reproductibilité et souveraineté Les données génomiques sont profondément personnelles et, dans de nombreux cas, identifiantes, ce qui les place directement sous des réglementations comme HIPAA (en anglais) aux États-Unis et le RGPD dans l’UE. Considérer la désidentification comme une solution complète est risqué, car les données génomiques sont intrinsèquement difficiles à anonymiser totalement. Deux propriétés du stockage comptent ici au-delà du contrôle d’accès. D’abord, l’intégrité et la reproductibilité : un stockage immuable de type WORM (en anglais) permet à un laboratoire d’attester que les données brutes n’ont pas été modifiées depuis leur génération, ce qui sous-tend à la fois la reproductibilité et la défense contre les ransomwares. Ensuite, la souveraineté des données (en anglais) : les consortiums de recherche et les programmes nationaux exigent de plus en plus que les données génomiques restent à l’intérieur de frontières précises, ce qui détermine où elles peuvent être stockées et qui peut y accéder. Concevoir le stockage des données génomiques En réunissant ces exigences, le profil est clair : des fichiers énormes, un accès parallèle à haut débit pendant l’analyse, une conservation à long terme économique, l’intégrité, la confidentialité et la souveraineté. C’est pourquoi le stockage objet (en anglais) scale-out est devenu un socle courant de la génomique à grande échelle. Une plateforme compatible S3 parle l’interface qu’utilisent déjà les outils de bio-informatique modernes, les gestionnaires de workflows et les frameworks d’IA. Le codage à effacement fournit une capacité durable de façon bien plus économique que la réplication lorsqu’il faut conserver des années de gros fichiers. Le cycle de vie et la hiérarchisation déplacent automatiquement les FASTQ et CRAM froids hors du stockage primaire. Object Lock et le WORM protègent l’intégrité et la reproductibilité. Et un déploiement sur site ou privé offre aux plateformes et aux institutions des coûts prévisibles, le contrôle des données sensibles et l’absence de frais d’egress cloud lorsque de grands jeux de données sont rapatriés pour une nouvelle analyse. Il ne s’agit pas d’un produit particulier. Il s’agit d’adapter l’architecture à l’un des cycles de vie de données les plus exigeants de la science. Check-list pour évaluer le stockage des données génomiques Débit agrégé élevé pour l’accès parallèle des pipelines et du HPC Évolutivité au-delà du pétaoctet avec des coûts prévisibles à mesure que le volume d’échantillons augmente Hiérarchisation automatisée du chaud vers le froid et cycle de vie pour que les données froides quittent le stockage primaire Durabilité économique (par exemple codage à effacement) pour une conservation pluriannuelle Prise en charge du CRAM et d’autres formats compressés pour l’archivage Immuabilité Object Lock ou WORM pour l’intégrité et la reproductibilité Contrôle d’accès et audit alignés sur HIPAA et le RGPD Contrôles de résidence et de souveraineté des données pour les consortiums et les programmes nationaux Accès compatible S3 pour que les outils de bio-informatique et d’IA lisent le même stockage Synthèse Le stockage des données génomiques est un problème de cycle de vie, pas de capacité. Les organisations qui le gèrent bien gardent les données chaudes rapides pour l’analyse, conservent les données brutes froides à moindre coût et de manière immuable pour les nouvelles analyses qui font progresser la science, et ne laissent jamais une étude terminée sur le niveau le plus coûteux simplement parce qu’il serait fastidieux de la déplacer. La voie pratique consiste à concevoir pour toute la vie des données : un accès parallèle rapide tant qu’elles sont actives, une hiérarchisation automatisée à mesure qu’elles refroidissent, la compression et une durabilité économique pour l’archive à long terme, ainsi que des contrôles de confidentialité, d’intégrité et de souveraineté tout au long du parcours. Ainsi, le stockage cesse de limiter la quantité de données que vous pouvez séquencer. Questions fréquentes Quelle est la taille d’un fichier de données génomiques ? Elle varie selon la profondeur de séquençage et la plateforme, mais un fichier FASTQ de génome complet pèse environ 90 à 120 Go, un fichier BAM aligné atteint souvent 200 à 300 Go par exécution, et un VCF de variants est comparativement minuscule. Quelle est la différence entre FASTQ, BAM, CRAM et VCF ? Le FASTQ contient les lectures brutes du séquenceur, le BAM les lectures alignées sur une référence, le CRAM est une alternative plus compressée au BAM pour l’archivage, et le VCF stocke les variants génétiques identifiés que les laboratoires échangent généralement. Quel est le meilleur stockage pour les données génomiques ? Cette charge de travail favorise le stockage objet scale-out compatible S3 : il fournit un débit parallèle aux pipelines, évolue jusqu’au pétaoctet, hiérarchise automatiquement du chaud vers le froid et offre une conservation durable et économique avec immuabilité. Combien de temps faut-il conserver les données génomiques ? Souvent pendant de nombreuses années. Les données brutes sont conservées pour la reproductibilité, pour des raisons réglementaires et pour de futures analyses avec des références et des méthodes améliorées ; la plupart des organisations archivent donc plutôt que de supprimer. Les données génomiques relèvent-elles de HIPAA ? Aux États-Unis, les données génomiques liées à une personne relèvent généralement de HIPAA, et dans l’UE du RGPD. Comme les données génomiques sont difficiles à anonymiser totalement, elles doivent être traitées comme sensibles et protégées en conséquence. Pour aller plus loin (contenus pédagogiques) : les cas d’usage du stockage objet (en anglais), un regard sur le stockage chaud vs stockage froid (en anglais) et codage à effacement ou réplication.
