3 Le stockage pour la gestion des données de recherche est devenu un enjeu stratégique pour les universités et les instituts de recherche. Instruments, simulations, séquençage, imagerie et projets de numérisation produisent des données plus vite que jamais, les financeurs exigent que les données soient gérées et partagées, et les chercheurs attendent un stockage disponible, sûr et abordable pendant toute la durée d’un projet et bien au-delà. Beaucoup d’établissements reposent encore sur un assemblage de serveurs de laboratoire, de disques personnels et de comptes cloud, ce qui met les données en danger et complique le respect des politiques des financeurs. Cet article explique ce que la gestion des données de recherche attend du stockage, les niveaux de stockage que proposent habituellement les universités, comment les exigences des financeurs de différentes régions les façonnent et comment rendre un stockage centralisé viable dans la durée. Il s’adresse aux architectes informatiques de la recherche, aux équipes de gestion des données de recherche et aux bibliothèques. Pour la préservation à long terme en particulier, consultez notre guide sur le stockage pour la préservation numérique. Le cycle de vie des données de recherche Les données de recherche passent par plusieurs étapes, chacune avec ses besoins de stockage : Actives : les données sont collectées, traitées et analysées. Elles exigent performance, collaboration et accès fréquent, souvent à proximité du calcul. Partagées : les données sont partagées avec des collaborateurs internes et externes pendant le projet. Publiées : les données qui sous-tendent les publications sont déposées dans un entrepôt avec des identifiants et des métadonnées pour que d’autres puissent les trouver et les réutiliser. Archivées : les données sont conservées après le projet à des fins de vérification, de réutilisation ou de conformité, souvent pendant des années. Éliminées : les données sont supprimées à la fin de leur conservation, sauf si elles ont une valeur à long terme. Un service de stockage universitaire doit généralement couvrir toutes ces étapes, avec des passages de relais clairs entre elles. Les exigences des financeurs et des politiques par région Les financeurs exigent de plus en plus des plans de gestion des données et le partage des données : Europe : Horizon Europe impose des plans de gestion des données pour les projets qui en produisent et promeut les principes FAIR (faciles à trouver, accessibles, interopérables, réutilisables), avec un accès ouvert aux données lorsque c’est possible. Les financeurs nationaux en Europe ont des attentes similaires. Royaume-Uni : les conseils de recherche britanniques attendent que les données issues de la recherche sur fonds publics soient rendues disponibles avec le moins de restrictions possible et préservées pour leur réutilisation. États-Unis : la politique de gestion et de partage des données des National Institutes of Health, en vigueur depuis janvier 2023, impose aux chercheurs financés par les NIH de soumettre et de suivre des plans de gestion et de partage des données. D’autres agences fédérales ont des exigences similaires. Asie-Pacifique : le Japon et d’autres pays ont adopté des politiques de science ouverte qui encouragent ou imposent la gestion et le partage des données de la recherche sur fonds publics. Les politiques des établissements fixent souvent des durées minimales de conservation des données après la fin des projets, fréquemment de plusieurs années, et parfois plus pour les études cliniques ou de long terme. Les données concernant des personnes sont aussi soumises au droit de la protection des données, comme le RGPD en Europe, qui encadre où et comment elles sont stockées. Les niveaux de stockage proposés par les universités Stockage de recherche actif Un stockage haute performance ou polyvalent pour les données en cours d’utilisation, souvent monté sur les clusters de calcul et les postes des laboratoires. Les chercheurs ont besoin d’un accès partagé, de snapshots pour la restauration et de bonnes performances. Les systèmes de fichiers parallèles ou les NAS haute performance sont courants pour les charges intensives en calcul. Collaboration et synchronisation-partage Des services qui permettent aux chercheurs de partager des données avec des collaborateurs externes, parfois construits sur un stockage objet derrière une plateforme de synchronisation-partage ou de transfert de données. Archive des données de recherche Un stockage volumineux et économique pour les données qui ne sont plus actives mais doivent être conservées. Le stockage objet s’y prête naturellement : il monte jusqu’au pétaoctet, coûte moins cher au téraoctet que le stockage actif, prend en charge l’immuabilité et offre un accès S3 aux outils et aux entrepôts de données. Stockage des entrepôts de données Le stockage derrière l’entrepôt de données de l’établissement, où les jeux de données publiés sont déposés avec des identifiants pérennes. Les plateformes d’entrepôt prennent de plus en plus en charge le stockage compatible S3. Stockage de préservation Pour les données ayant une valeur à long terme, un stockage de préservation avec plusieurs copies et contrôle de fixité. Pourquoi un stockage centralisé est important Sécurité des données : les serveurs de laboratoire et les disques personnels sont souvent ni sauvegardés ni supervisés. Conformité : un service central peut appliquer les exigences de conservation, de contrôle d’accès et de protection des données. Efficacité des coûts : la mutualisation de la capacité améliore le taux d’utilisation et le pouvoir d’achat. Visibilité : les archives et entrepôts centralisés rendent les données faciles à trouver. Continuité : les données survivent au départ des chercheurs ou des doctorants. Rendre le stockage viable dans la durée Modèles de financement Les universités financent le stockage de recherche de différentes manières : une allocation gratuite par chercheur ou par projet, facturée au-delà ; une récupération des coûts sur les subventions, lorsque les financeurs l’autorisent ; un financement central au titre des infrastructures de recherche ; ou un mélange. Le stockage d’archive à long terme est difficile à financer par des subventions qui prennent fin : beaucoup d’établissements financent donc les niveaux d’archive de façon centrale ou facturent un forfait unique pour une durée de conservation définie. Coût au téraoctet Les niveaux d’archive doivent être assez bon marché pour que les chercheurs les préfèrent au maintien des données sur un stockage actif coûteux ou sur des disques non gérés. Un stockage objet sur du matériel standard y contribue. Automatisation du cycle de vie Des politiques qui déplacent les données des niveaux actifs vers l’archive après la fin des projets, et qui déclenchent une revue en fin de conservation, empêchent le stockage actif de se remplir de données oubliées. Planification de la croissance La croissance des données de recherche est irrégulière : un nouvel instrument ou un grand projet peut ajouter des pétaoctets en peu de temps. Un stockage qui s’étend par ajout de nœuds évite les mises à niveau perturbatrices. Les données de recherche sensibles Les données de santé, les données personnelles et les données sensibles sur le plan commercial exigent une protection renforcée : contrôles d’accès, chiffrement, journalisation d’audit et parfois des environnements sécurisés dédiés. Les règles de protection des données peuvent restreindre les lieux de stockage, par exemple en imposant de garder les données dans l’UE ou dans les frontières nationales. Concevez les niveaux sécurisés en tenant compte de ces exigences, et évitez de placer des données sensibles sur des services qui ne peuvent pas y répondre. L’intégration au calcul scientifique Les données actives doivent souvent être proches du calcul. Le stockage objet sert de plus en plus de niveau de capacité derrière les systèmes de fichiers haute performance : les données sont transférées vers un stockage rapide pour le traitement, puis renvoyées ensuite. Les outils de workflow et de déplacement de données qui parlent S3 rendent cela possible en pratique. Voir aussi la hiérarchisation des données HPC. Les profils de données de recherche courants Chaque discipline sollicite le stockage différemment, et un service universitaire doit faire face à toutes : Génomique et sciences du vivant : de gros résultats de séquençage et des fichiers intermédiaires, avec un calcul intensif et une longue conservation des données brutes. Imagerie et microscopie : des piles d’images très volumineuses issues des microscopes électroniques et optiques, souvent plusieurs téraoctets par expérience. Simulations en physique et en ingénierie : d’énormes fichiers de résultats à transférer d’un espace scratch rapide vers l’archive. Sciences humaines et sociales : des volumes souvent plus faibles mais des données plus sensibles ou soumises à des droits, ainsi que des projets de numérisation qui croissent régulièrement. Données environnementales et satellitaires : un flux continu de données à conserver pour l’analyse à long terme. Concevoir les niveaux autour de ces profils, plutôt que d’un chercheur moyen, évite à la fois le surdimensionnement et les mauvaises surprises à l’arrivée d’un nouvel instrument. Accompagner les chercheurs, pas seulement fournir du stockage La technologie seule ne suffit pas à une bonne gestion des données de recherche. Les chercheurs ont besoin d’aide pour rédiger leurs plans de gestion des données, choisir des formats, décrire les données avec des métadonnées et décider de ce qu’il faut conserver. Bibliothèques et équipes informatiques de la recherche gèrent souvent ensemble des services d’accompagnement. Les équipes stockage y contribuent en proposant des niveaux de service clairs avec des demandes simples, en publiant les coûts et les conditions de conservation et en facilitant le déplacement des données entre niveaux. Lorsque l’option gérée est plus simple qu’un disque dur externe, les chercheurs l’adoptent. Gérer la fin des projets La fin d’un projet est le moment où les données sont le plus en danger. Les doctorants soutiennent, les postdoctorants partent et le financement s’arrête. Un bon service invite les responsables de projet à décider ce qu’il faut archiver, déposer dans un entrepôt ou supprimer, puis déplace les données hors du stockage actif en conséquence. Des rappels automatiques liés aux dates de fin de projet, ainsi qu’un niveau d’archive par défaut pour tout ce qui n’a pas été traité explicitement, évitent que des données soient perdues ou abandonnées sur un stockage coûteux. Liste de contrôle : stockage pour la gestion des données de recherche Faire correspondre les niveaux de stockage au cycle de vie des données de recherche. Identifier les exigences des financeurs et réglementaires par région. Proposer des niveaux actif, collaboration, archive, entrepôt et préservation. Fixer un prix d’archive qui en encourage l’usage. Automatiser le passage des niveaux actifs vers l’archive. Prévoir un financement durable au-delà de la durée des subventions. Protéger les données sensibles avec des niveaux sécurisés et la maîtrise de leur localisation. Intégrer le stockage au calcul scientifique et aux entrepôts de données. Anticiper une croissance des données rapide et irrégulière. En résumé Le stockage pour la gestion des données de recherche fonctionne lorsqu’il suit le cycle de vie de la recherche : un stockage rapide et collaboratif pour les travaux en cours, un stockage d’archive abordable pour la conservation, un stockage d’entrepôt pour la publication et un stockage de préservation pour la valeur à long terme. En Europe, au Royaume-Uni, aux États-Unis et en Asie-Pacifique, les financeurs exigent de plus en plus que les données soient gérées et partagées, ce qui rend indispensable un stockage centralisé et bien gouverné. Le stockage objet fournit une base évolutive et abordable pour les niveaux archive, entrepôt et préservation, tandis qu’un financement durable et l’automatisation du cycle de vie assurent la viabilité du service. Questions fréquentes Quel stockage les universités utilisent-elles pour les données de recherche ? Généralement un mélange : un stockage haute performance pour les données actives, des services de collaboration, un stockage objet pour les archives et les entrepôts, et un stockage de préservation pour la valeur à long terme. Les financeurs imposent-ils la gestion des données de recherche ? Beaucoup, oui. Horizon Europe, les conseils de recherche britanniques, les NIH et d’autres exigent des plans de gestion des données et encouragent ou imposent leur partage. Combien de temps faut-il conserver les données de recherche ? Cela dépend de la politique de l’établissement, des exigences des financeurs et du type de recherche : souvent plusieurs années après la fin du projet, et davantage pour certaines études. Pourquoi utiliser le stockage objet pour les archives de données de recherche ? Il monte jusqu’au pétaoctet, coûte moins cher au téraoctet que le stockage actif, prend en charge l’immuabilité et offre un accès S3 aux outils et aux entrepôts. Comment les universités financent-elles le stockage à long terme des données de recherche ? Par des combinaisons de financement central, de récupération des coûts sur les subventions, d’allocations gratuites et de forfaits uniques pour des durées de conservation définies. Pour aller plus loin Stockage pour la préservation numérique Le modèle OAIS et le stockage Les copies de préservation numérique Les contrôles de fixité à grande échelle Gestion du cycle de vie des données
