2 Un service de stockage S3 universitaire offre aux chercheurs un stockage objet à la demande, accessible via la même API S3 que les clouds publics, mais exploité par l’établissement sur sa propre infrastructure. Les chercheurs disposent d’un espace familier et évolutif pour stocker leurs jeux de données, partager des données avec leurs collaborateurs, alimenter leurs pipelines et archiver leurs résultats. L’université bénéficie de coûts prévisibles, de données qui restent sur le campus ou dans le pays, d’une intégration à l’identité institutionnelle et d’une plateforme centrale qu’elle peut gouverner. De nombreuses universités et instituts de recherche proposent désormais S3 en complément du stockage de fichiers classique et de l’espace scratch HPC. Cet article explique comment les universités conçoivent et exploitent un stockage S3 en tant que service : la plateforme, l’identité et les accès, les modèles de projets et de quotas, la refacturation, le partage de données, l’accompagnement et la gouvernance. Pour un contexte plus large, consultez notre article sur la hiérarchisation des données HPC et le guide research data management storage (en anglais). Pourquoi proposer S3 aux chercheurs Les outils modernes parlent S3 : gestionnaires de workflows, outils de data science, frameworks d’IA, portails de données et de nombreuses applications d’instruments et d’analyse lisent et écrivent nativement en S3. L’évolutivité : le stockage objet s’étend par ajout de nœuds et absorbe des jeux de données de recherche volumineux et imprévisibles. Le partage : S3 facilite le partage de données avec des collaborateurs via des politiques d’accès ou des liens à durée limitée. La compatibilité cloud : les chercheurs peuvent déplacer leurs workflows entre le campus et le cloud public avec un minimum de modifications. Le coût : un stockage objet sur site coûte généralement moins cher au téraoctet qu’un stockage de fichiers haute performance et évite les frais de requêtes et d’egress du cloud public. La localisation des données : les données restent dans l’établissement et dans le pays, ce qui compte pour la recherche sensible et les exigences des financeurs. La plateforme Un service S3 universitaire comprend généralement : Un stockage objet compatible S3 déployé sur plusieurs baies ou sites, protégé par l’erasure coding (en anglais) et, en option, par la réplication. Des points d’accès répartis en charge, avec TLS et des noms DNS stables. Une couche de comptes et d’identité intégrée à l’authentification de l’université. Un portail en libre-service ou un processus de demande pour créer projets, buckets et identifiants. Une supervision et un reporting de la capacité, de l’usage et des performances par projet. Identité et accès Les chercheurs doivent, autant que possible, utiliser leur identité institutionnelle plutôt que des clés non gérées : Authentification unique (SSO) au portail en libre-service via le fournisseur d’identité de l’université. Identité fédérée pour les collaborateurs externes, par exemple via les fédérations d’identité de l’enseignement supérieur et de la recherche. Des clés d’accès délivrées par utilisateur ou par application, limitées à des buckets précis, avec expiration et rotation. Des accès par groupe reflétant les équipes et les projets de recherche. Des politiques de bucket et d’objet pour un partage fin. S3 access policies (en anglais) traite de la conception des politiques. Les modèles de projets et de quotas La plupart des services organisent le stockage par projet ou par équipe de recherche plutôt que par individu, afin que les données survivent au départ des personnes : Des projets avec un chercheur responsable, des membres et une date de fin. Des buckets créés au sein des projets, selon des conventions de nommage. Des quotas de capacité, et parfois de nombre d’objets, par projet. Des allocations par défaut pour tous les chercheurs, avec des allocations plus importantes sur demande ou moyennant participation. La refacturation Les universités financent leur service S3 de différentes manières : Des allocations de base gratuites financées au niveau central, avec facturation au-delà. Une facturation au téraoctet imputée aux contrats de recherche, lorsque les financeurs autorisent les coûts de stockage. Des paiements anticipés pour une durée de conservation définie, utiles pour les données à conserver après la fin des financements. Un financement central au titre de l’infrastructure de recherche. Le prix au téraoctet doit être simple et compétitif par rapport aux alternatives, afin que les chercheurs préfèrent le service géré aux disques non gérés ou aux comptes cloud personnels. Communiquez régulièrement l’usage aux responsables de projet. Partage de données et collaboration S3 facilite la collaboration : Le partage interne via l’accès de groupe aux buckets. Les collaborateurs externes via des identités fédérées ou des identifiants dédiés. Les liens à durée limitée pour partager des jeux de données précis. Les jeux de données publics avec un accès anonyme en lecture contrôlé, pour la publication de données ouvertes, avec des garde-fous contre l’exposition accidentelle de données sensibles. Fournissez des recommandations de partage sécurisé, en particulier pour les données personnelles ou sensibles. L’intégration avec le calcul scientifique Les clusters HPC accèdent à S3 pour charger et décharger les données de l’espace scratch. Les plateformes GPU et d’IA lisent les données d’entraînement en S3. Les plateformes d’instruments déposent leurs données directement dans des buckets S3. Les portails et entrepôts de données utilisent S3 comme stockage sous-jacent. Les outils de transfert déplacent les données entre le S3 du campus, d’autres établissements et les clouds publics. Cycle de vie et gouvernance Les dates de fin de projet déclenchent une revue : archiver, publier, transférer ou supprimer. Les règles de cycle de vie suppriment les données temporaires ou les déplacent vers des niveaux moins coûteux. Le versioning et l’Object Lock (en anglais) protègent les données importantes contre la suppression accidentelle et les ransomwares. La classification des données indique quelles données peuvent être stockées et partagées, avec des contrôles plus stricts pour les données sensibles. La journalisation d’audit des accès aux buckets sensibles. Accompagner les chercheurs La disponibilité technique ne suffit pas. Les services qui réussissent proposent : Une documentation avec des exemples pour les outils et langages courants. Des formations et des permanences. Des modèles pour les configurations courantes, comme les buckets de laboratoire ou la publication de jeux de données publics. Une aide à la migration depuis des disques externes, des serveurs de laboratoire ou le cloud public. Des niveaux de service clairs en matière de disponibilité et de délai de réponse. Lancer le service Un lancement progressif limite les risques. Commencez par un groupe pilote d’équipes qui utilisent déjà des outils S3, comme un laboratoire de génomique, une plateforme d’imagerie et une équipe de data science. Utilisez leurs retours pour affiner la documentation, les quotas et les processus. Ouvrez ensuite le service plus largement avec une description claire, une page de tarifs et un formulaire de demande ou un portail simple. Faites-le connaître via les services de la recherche, les correspondants informatiques des départements et des formations, et mettez en avant les premiers succès. Suivez l’adoption par département et la croissance du stockage, et ajustez les plans de capacité à mesure que la demande se précise. Les écueils fréquents Des clés d’accès non gérées, partagées entre plusieurs personnes et jamais renouvelées. Des buckets appartenant à des individus plutôt qu’à des projets, si bien que les données restent orphelines au départ d’une personne. Une exposition publique accidentelle due à des politiques trop permissives. L’absence de processus de fin de projet, qui laisse le stockage rempli de données abandonnées. Une tarification difficile à comprendre, qui renvoie les chercheurs vers des disques externes ou des comptes cloud personnels. Un accompagnement insuffisant, en particulier pour les chercheurs qui découvrent le stockage objet. Mesurer le service Parmi les indicateurs utiles : le nombre de projets actifs, le stockage utilisé et sa croissance par département, la part des données de recherche hébergées dans un stockage géré plutôt que dans des emplacements non gérés, le volume et les thèmes des demandes de support, et la satisfaction des chercheurs mesurée par des enquêtes périodiques. Ces indicateurs aident à justifier l’investissement et à orienter les améliorations. Planifier la capacité et les performances La demande de la recherche est irrégulière. Un seul nouvel instrument, un gros financement ou un projet d’IA peut ajouter des pétaoctets. Gardez de la marge, planifiez les extensions par incréments et tenez une liste des projets à venir avec leurs volumes de données attendus, recueillis auprès des services de la recherche et des responsables de plateformes. Surveillez le débit autant que la capacité : l’entraînement d’IA et les gros transferts peuvent solliciter fortement la plateforme même lorsque la capacité est suffisante. Spécificités régionales En Europe, la recherche portant sur des données personnelles doit respecter le RGPD, et certains projets exigent que les données restent dans l’UE ou dans le pays. Au Royaume-Uni, le UK GDPR s’applique. Aux États-Unis, la recherche financée par l’État fédéral peut comporter des exigences de sécurité des données, et les données sur des sujets humains obéissent à leurs propres règles. Au Japon et ailleurs, des politiques nationales de données de recherche s’appliquent. Un service S3 hébergé sur le campus aide les universités à respecter ces exigences tout en offrant aux chercheurs la commodité du cloud. Enseignement et usage étudiant Les services S3 soutiennent aussi l’enseignement. Les cours de data science, de bio-informatique et d’apprentissage automatique peuvent attribuer aux étudiants des buckets temporaires à petit quota, qui expirent à la fin du semestre. Ils apprennent ainsi les workflows de type cloud sur l’infrastructure de l’établissement, sans compte cloud personnel ni facture inattendue. Automatisez la création et le nettoyage à chaque semestre. Checklist : service de stockage S3 universitaire Déployez un stockage objet compatible S3 évolutif et protégé, avec des points d’accès stables. Intégrez l’authentification unique de l’établissement et les fédérations de recherche. Organisez le stockage par projet, avec des responsables et des dates de fin. Définissez quotas, allocations par défaut et tarification simple. Permettez un partage interne, externe et public sécurisé. Intégrez le HPC, les plateformes d’IA, les instruments et les entrepôts de données. Appliquez règles de cycle de vie, versioning et Object Lock lorsque c’est nécessaire. Classifiez les données et appliquez des contrôles aux données sensibles. Proposez documentation, formation et aide à la migration. Communiquez l’usage et les coûts aux responsables de projet. En résumé Un service de stockage S3 universitaire apporte au campus un stockage objet de type cloud : évolutif, piloté par API, facile à partager et intégré au calcul scientifique, tout en gardant des coûts prévisibles et des données sous contrôle de l’établissement. Organisez-le autour des projets, intégrez-le à l’identité institutionnelle, proposez une tarification simple et accompagnez bien les chercheurs : il deviendra l’emplacement par défaut des données de recherche, des instruments aux pipelines, des collaborations aux archives. Questions fréquentes Pourquoi une université exploiterait-elle son propre service S3 ? Pour des coûts prévisibles, la maîtrise de la localisation des données, l’intégration à l’identité du campus et au calcul scientifique, et la prise en charge des outils modernes. Comment les chercheurs accèdent-ils à un service S3 du campus ? Via l’API S3, avec des clés d’accès délivrées par un portail en libre-service utilisant l’identifiant universitaire, et via les outils et applications compatibles S3. Des collaborateurs externes peuvent-ils utiliser un service S3 universitaire ? Oui, via des identités fédérées, des identifiants dédiés ou des liens à durée limitée, dans le respect des politiques de partage de données. Comment les services S3 universitaires sont-ils financés ? Par une combinaison de financement central, d’allocations de base gratuites, de facturation au téraoctet imputée aux contrats et de paiements anticipés pour la conservation. Peut-on utiliser un stockage S3 pour des données de recherche sensibles ? Oui, avec une classification adaptée, des contrôles d’accès, le chiffrement, la journalisation d’audit et la maîtrise de la localisation des données. Pour aller plus loin Hiérarchisation des données HPC Hiérarchisation d’un système de fichiers parallèle vers le stockage objet Stockage des données d’instruments Research data management storage (en anglais)
