2 Le stockage des données d’instruments est devenu l’un des plus grands défis des centres de calcul scientifique. Les cryo-microscopes électroniques, séquenceurs à haut débit, microscopes à feuille de lumière et électroniques, spectromètres de masse, lignes de lumière synchrotron et télescopes produisent des données en continu, souvent plusieurs téraoctets par jour et par instrument. Ces données doivent être capturées de façon fiable au moment où elles sont générées, traitées sur des clusters HPC ou GPU, partagées avec les chercheurs et leurs collaborateurs, et conservées pendant des années selon les politiques de l’établissement et des financeurs. Les instruments coûtent cher à faire fonctionner : le stockage ne doit jamais être la raison de l’arrêt d’une expérience. Cet article décrit le parcours des données de l’instrument à l’archive, les niveaux de stockage concernés, le rôle du stockage objet et les politiques qui permettent de garder les données d’instruments maîtrisables. Il s’adresse aux architectes du calcul scientifique et aux responsables de plateformes. Pour la vision d’ensemble de la hiérarchisation, consultez notre article sur la hiérarchisation des données HPC. Pourquoi les données d’instruments sont différentes Une production continue : les instruments fonctionnent jour et nuit pendant les sessions et écrivent des données en permanence. Des volumes élevés : les détecteurs et séquenceurs modernes produisent de gros fichiers à des débits élevés. Les sessions de cryo-EM avec détecteurs d’électrons directs génèrent ainsi couramment plusieurs téraoctets par jour et par microscope. Aucune tolérance à la perte : refaire une expérience peut être coûteux, voire impossible, avec des échantillons uniques ou un temps d’instrument limité. Un traitement intensif : les données brutes sont transformées en données dérivées par des pipelines gourmands en calcul, souvent sur GPU. Des plateformes partagées : les plateformes servent de nombreuses équipes de recherche et des utilisateurs externes, qui doivent chacun accéder à leurs propres données. Une conservation longue : les données brutes et traitées peuvent être exigées pour la reproductibilité, la publication et la conformité aux exigences des financeurs. Le parcours des données L’acquisition Les instruments écrivent les données sur des ordinateurs d’acquisition locaux ou sur un stockage rattaché à l’instrument. Ce stockage local est généralement réduit et doit être vidé rapidement pour que l’instrument continue de fonctionner. Le transfert vers une zone d’atterrissage Les données sont transférées en continu ou après chaque acquisition vers un stockage central, une zone d’atterrissage dimensionnée pour absorber la production des instruments avec de la marge. Les transferts doivent être automatisés et supervisés, avec des sommes de contrôle pour confirmer l’intégrité. Le traitement Les données sont chargées sur un stockage haute performance proche du calcul pour être traitées : correction de mouvement et sélection de particules en cryo-EM, appel de bases, alignement et appel de variants en séquençage, reconstruction en imagerie. Les fichiers intermédiaires peuvent être volumineux et éphémères. Résultats et partage Les résultats traités sont stockés dans l’espace projet et partagés avec les équipes de recherche, parfois à l’extérieur via des portails ou un accès S3. L’archivage Les données brutes et les principaux résultats traités passent sur un stockage d’archive pour leur conservation, souvent un stockage objet, avec des métadonnées qui les relient aux projets, aux échantillons et aux publications. Publication et dépôt Les données qui étayent des publications peuvent être déposées dans des entrepôts publics, comme les archives communautaires de cryo-EM ou de séquençage, les copies locales étant conservées selon la politique en vigueur. Le rôle du stockage objet Le stockage objet sert de plus en plus de zone d’atterrissage, d’archive et de couche de partage pour les données d’instruments : Évolutivité : il s’étend par ajout de nœuds à mesure que les instruments et les projets se multiplient. Débit d’ingestion : il absorbe les écritures parallèles de plusieurs instruments. Accès S3 : les logiciels d’acquisition modernes, les outils de transfert, les gestionnaires de workflows et les portails peuvent y lire et écrire directement. Durabilité : l’erasure coding (en anglais) et la réplication multisite protègent des données irremplaçables. Partage : les politiques d’accès et les URL présignées permettent aux plateformes de partager les données avec des utilisateurs internes et externes en toute sécurité. Métadonnées : les tags d’objets peuvent enregistrer les identifiants d’instrument, de session, de projet et d’échantillon. Un schéma courant consiste à faire atterrir les données sur le stockage objet, à les charger sur un système de fichiers parallèle pour le traitement, puis à réécrire les résultats sur le stockage objet. Les choix de conservation Les volumes de données d’instruments imposent des choix difficiles sur ce qu’il faut conserver : Les données brutes : certaines disciplines conservent toutes les données brutes ; d’autres les gardent pendant une durée limitée et conservent les résultats traités sur le long terme, car le traitement peut être coûteux à refaire mais les données brutes sont très volumineuses. Les fichiers intermédiaires : généralement supprimés après le traitement. Les résultats traités : conservés pendant toute la durée du projet et au-delà. Les jeux de données publiés : conservés selon les exigences des financeurs et des éditeurs. Convenez des politiques de conservation avec les utilisateurs des plateformes et la direction de la recherche, et automatisez-les avec des règles de cycle de vie. Les spécificités de la cryo-EM Les sessions de cryo-EM produisent un grand nombre de fichiers vidéo, transformés en micrographies et en piles de particules. Les plateformes, en général : Transfèrent les données du microscope vers une zone d’atterrissage pendant la collecte. Lancent un prétraitement à la volée sur des nœuds GPU pour fournir un retour pendant la session. Archivent les vidéos brutes sur un stockage objet, au moins jusqu’à la fin du traitement et de la publication. Conservent les piles de particules et les cartes traitées dans l’espace projet pour les analyses ultérieures. Les spécificités du séquençage Les données de séquençage comprennent les signaux ou images bruts, les appels de bases ainsi que les alignements et variants en aval. Les plateformes, en général : Transfèrent automatiquement les sorties des séquenceurs vers un stockage central. Les traitent avec des pipelines sur des clusters HPC. Conservent les fichiers de lectures compressés et les principaux résultats dérivés, en supprimant les gros fichiers intermédiaires. Appliquent des contrôles de protection des données pour les données génomiques humaines, considérées comme des données personnelles sensibles dans de nombreuses juridictions. Dimensionner le stockage des instruments Zone d’atterrissage : au moins plusieurs jours de production de pointe de tous les instruments, pour absorber les retards de traitement ou les pannes. Stockage de traitement : les données de travail des pipelines simultanés, sur un stockage haute performance. Archive : le cumul des données brutes et traitées sur les durées de conservation, plus la croissance liée aux nouveaux instruments. Réseau : des liens entre instruments et zone d’atterrissage, et entre stockage et calcul, dimensionnés pour les débits de pointe. L’exploitation des plateformes Les plateformes exploitent leurs instruments comme des services partagés : le stockage doit donc s’adapter à leurs workflows. Les systèmes de réservation peuvent créer des identifiants de projet et de session qui alimentent automatiquement les chemins de données et les tags d’objets, reliant chaque jeu de données à la bonne équipe et au bon financement. Les plateformes accordent souvent aux utilisateurs une période de stockage gratuite limitée après une session, au terme de laquelle les données passent dans l’allocation de l’équipe ou sont supprimées. Une communication claire de ces règles, et des notifications automatiques avant l’expiration des données, évitent les litiges et les pertes. La supervision est indispensable. Suivez les files de transfert de chaque instrument, la capacité de la zone d’atterrissage, les retards de traitement et l’ingestion dans l’archive. Une alerte en cas de blocage des transferts d’un instrument laisse aux équipes le temps d’agir avant que le stockage local d’acquisition ne se remplisse et que la session doive s’arrêter. Anticiper les nouveaux instruments Les capacités des instruments font souvent un bond à chaque nouvelle génération de détecteurs ou de séquenceurs, multipliant fréquemment les débits de données. Lorsqu’une plateforme prévoit un nouvel instrument, la planification du stockage et du réseau doit commencer en même temps que l’achat, et non après l’installation. Demandez aux fournisseurs des débits réalistes selon les protocoles courants, modélisez l’effet sur les niveaux d’atterrissage, de traitement et d’archive, et budgétez l’extension du stockage dans le projet d’instrument. Intégrer le stockage au coût de l’instrument évite la situation fréquente d’un nouveau microscope ou séquenceur sous-utilisé parce que l’infrastructure de données ne suit pas. Utilisateurs externes et collaborations De nombreuses plateformes servent des utilisateurs académiques et industriels externes. Proposez-leur des moyens sécurisés de récupérer leurs données, comme des identifiants S3 temporaires ou des portails de téléchargement, plutôt que l’envoi de disques. Convenez à l’avance de la durée de conservation des données externes et de la prise en charge des coûts en cas de conservation prolongée. Spécificités régionales et réglementaires Les données humaines issues du séquençage et de l’imagerie relèvent des lois sur la protection des données, comme le RGPD en Europe et les règles équivalentes ailleurs, et certains programmes de recherche nationaux exigent que les données restent dans le pays. Les plateformes qui servent des collaborations internationales doivent gérer avec soin les accès et la localisation. Un stockage objet sur site aide à garder les données sensibles dans les limites de l’établissement et du pays. L’intégrité dès le départ Calculez les sommes de contrôle sur l’ordinateur d’acquisition avant le transfert et vérifiez-les à l’arrivée : une corruption en transit est ainsi détectée tant que l’original existe encore sur l’instrument. Checklist : stockage des données d’instruments Automatisez le transfert des instruments vers une zone d’atterrissage, avec sommes de contrôle. Dimensionnez la zone d’atterrissage pour plusieurs jours de production de pointe. Chargez les données sur un stockage haute performance pour le traitement. Utilisez le stockage objet comme zone d’atterrissage, archive et couche de partage. Étiquetez les données avec les métadonnées d’instrument, de session, de projet et d’échantillon. Définissez la conservation des données brutes, intermédiaires et traitées. Automatisez les règles de cycle de vie et la suppression. Protégez les données irremplaçables sur plusieurs sites. Appliquez des contrôles de protection aux données humaines. Dimensionnez les réseaux pour la production de pointe des instruments. En résumé Le stockage des données d’instruments doit capturer chaque octet de façon fiable, l’acheminer efficacement vers le calcul et conserver pendant des années ce qui compte. Le stockage objet est devenu central dans ce parcours, en tant que zone d’atterrissage, archive et couche de partage, les systèmes de fichiers haute performance prenant en charge le traitement. Des politiques de conservation claires, l’automatisation et de bonnes métadonnées gardent maîtrisable un parc d’instruments croissant et garantissent que des données expérimentales précieuses ne sont jamais perdues. Questions fréquentes Combien de données produit un cryo-microscope électronique ? Les cryo-microscopes électroniques modernes équipés de détecteurs d’électrons directs produisent couramment plusieurs téraoctets par jour pendant les sessions de collecte. Où les données d’instruments doivent-elles atterrir en premier ? Sur une zone d’atterrissage centrale disposant d’une capacité suffisante pour plusieurs jours de production de pointe, souvent un stockage objet ou un système de fichiers haute performance. Faut-il conserver indéfiniment les données brutes des instruments ? Cela dépend de la discipline, du coût et de la politique. Certains conservent toutes les données brutes ; d’autres les gardent pendant une durée définie et conservent les résultats traités sur le long terme. Pourquoi utiliser le stockage objet pour les données d’instruments ? Il est évolutif, absorbe l’ingestion parallèle, prend en charge l’accès S3 pour les outils et les portails, protège durablement les données et permet un partage sécurisé. Comment protéger les données de séquençage sensibles ? Avec des contrôles d’accès, le chiffrement, la journalisation d’audit et des emplacements de stockage conformes aux lois sur la protection des données. Pour aller plus loin Hiérarchisation des données HPC Hiérarchisation d’un système de fichiers parallèle vers le stockage objet Services de stockage S3 universitaires Genomics data storage (en anglais)
