2 La hiérarchisation d’un système de fichiers parallèle vers le stockage objet permet aux centres de calcul scientifique, aux équipes d’IA et aux acteurs des médias d’allier la vitesse d’un système de fichiers haute performance à la capacité et à l’économie du stockage objet. Les systèmes de fichiers parallèles alimentent les clusters de calcul avec un débit et des performances de métadonnées très élevés, généralement sur flash. Le stockage objet contient bien plus de données pour un coût au téraoctet bien inférieur. La hiérarchisation relie les deux : les données chaudes restent rapides tandis que les données froides passent sur le stockage objet, souvent sans que les utilisateurs aient à changer leur manière de retrouver leurs fichiers. Cet article présente les principaux modèles de hiérarchisation, leur comportement lorsque les données sont relues, les points à évaluer et la manière de dimensionner et d’exploiter un environnement hiérarchisé. Pour le contexte général, consultez notre article sur la hiérarchisation des données HPC. Pourquoi hiérarchiser un système de fichiers parallèle vers le stockage objet Le coût : les systèmes de fichiers parallèles sur flash coûtent cher au téraoctet ; un stockage objet sur disques haute capacité revient bien moins cher. La capacité : les jeux de données de recherche et d’IA croissent plus vite que les budgets flash. La performance : réserver le niveau rapide aux données actives préserve le débit et la réactivité des métadonnées. La durabilité : le stockage objet protège les données par l’erasure coding (en anglais) entre nœuds et entre sites. L’accessibilité : les données sur stockage objet sont accessibles en S3 par d’autres outils et par les collaborateurs, et pas seulement via le système de fichiers. Les modèles de hiérarchisation La hiérarchisation native du système de fichiers Certains systèmes de fichiers haute performance récents hiérarchisent nativement vers un stockage objet compatible S3. Les métadonnées restent sur le niveau rapide, tandis que les données des fichiers sont déplacées vers le stockage objet selon des politiques, souvent par gros fragments. Les lectures de données hiérarchisées sont récupérées de façon transparente depuis le stockage objet, parfois avec préchargement. C’est le modèle le plus transparent pour les utilisateurs, puisque l’espace de noms ne change jamais. Un moteur de politiques avec des pools externes Certains systèmes de fichiers parallèles intègrent des moteurs de politiques qui sélectionnent les fichiers selon des attributs comme l’ancienneté, la taille, le propriétaire ou le chemin, et les déplacent vers des pools de stockage externes, y compris des cibles cloud ou de stockage objet. Un stub ou fichier de substitution reste dans le système de fichiers, et l’accès déclenche un rappel. Les politiques peuvent aussi prémigrer les données pour accélérer le rappel. La gestion hiérarchique du stockage (HSM) Les frameworks HSM migrent le contenu des fichiers vers une archive en laissant leurs métadonnées dans l’espace de noms. Lorsqu’un utilisateur ouvre un fichier libéré, le HSM le restaure depuis l’archive. Les frameworks HSM des systèmes de fichiers parallèles fonctionnent généralement ainsi, avec des agents de déplacement qui transfèrent les fichiers vers un niveau d’archive pouvant être un stockage objet compatible S3. L’archivage par copie Plutôt qu’une hiérarchisation transparente, les données sont copiées vers le stockage objet avec des outils ou des workflows, puis supprimées du système de fichiers. La copie sur stockage objet fait alors référence. C’est simple et cela garde les données accessibles en S3 dans leur forme native, mais les utilisateurs doivent savoir où les trouver. Format transparent ou format objet natif Une question importante est la forme que prennent les données sur le stockage objet : Un format géré par le système de fichiers : certaines approches stockent les données en fragments ou selon une organisation propriétaire. C’est efficace pour le système de fichiers, mais illisible comme fichiers ordinaires en S3. Un fichier par objet : d’autres approches stockent chaque fichier comme un objet au nom reconnaissable, ce qui permet à d’autres outils d’y accéder directement en S3. La lisibilité native en S3 compte si vous voulez que le stockage objet serve de plateforme de données partagée, par exemple pour des pipelines d’IA, des portails de données ou la collaboration, et pas seulement d’arrière-plan au système de fichiers. Le comportement du rappel C’est au moment du rappel que la hiérarchisation réussit ou frustre les utilisateurs : La latence : la première lecture d’un fichier hiérarchisé doit récupérer les données sur le stockage objet. Avec un stockage objet sur site, c’est généralement rapide, mais les gros fichiers prennent du temps. Le rappel partiel : certains systèmes ne récupèrent que la portion nécessaire d’un gros fichier, ce qui aide les charges qui lisent des parties de fichiers. Le rappel en masse : des tâches qui lisent des milliers de fichiers hiérarchisés à la fois peuvent provoquer des tempêtes de rappels. Précharger les données avant le lancement des tâches évite les ralentissements. Le préchargement : certains systèmes préchargent les données lorsqu’un répertoire est consulté ou qu’une tâche est planifiée. Informez les utilisateurs sur les données hiérarchisées et fournissez des outils pour précharger les données avant les grosses tâches. Ce que le stockage objet doit offrir Un débit élevé pour les migrations et les rappels, qui augmente avec la capacité. Des performances sur les gros objets pour les transferts par fragments ou de fichiers entiers. Une cohérence forte, pour que les données rappelées soient toujours à jour. L’échelle jusqu’à des milliards d’objets si l’on stocke un fichier par objet. Une protection multisite des données archivées. Les enjeux réseau La hiérarchisation déplace de gros volumes entre le système de fichiers et le stockage objet. Prévoyez une bande passante suffisante entre les serveurs du système de fichiers ou les agents de déplacement et les nœuds de stockage objet, en particulier pour les migrations initiales et les rappels en masse. Placer le stockage objet dans le même datacenter que le système de fichiers parallèle donne généralement les meilleurs résultats. Concevoir les politiques Les politiques de hiérarchisation tiennent généralement compte de : L’ancienneté : les fichiers non consultés depuis une durée donnée passent sur le stockage objet. La taille : ce sont les gros fichiers qui profitent le plus de la hiérarchisation ; les petits fichiers libèrent peu de capacité et le coût du rappel l’emporte. Le statut du projet : les données des projets terminés sont déplacées en bloc. Les seuils de remplissage : lorsque le niveau rapide atteint un seuil d’utilisation, les données les plus anciennes sont hiérarchisées. Les exclusions : les jeux de données actifs, les logiciels et les petits fichiers de configuration restent sur le niveau rapide. Commencez prudemment, mesurez les taux de rappel et ajustez. Dimensionner un environnement hiérarchisé Le niveau rapide pour les données de travail actives, généralement une fraction du volume total. Le niveau objet pour le volume total moins le niveau rapide, plus la croissance et le surcoût de protection. Le débit de migration dimensionné pour suivre le rythme des données qui quittent le niveau rapide. Le débit de rappel dimensionné pour la demande de pointe des tâches. La hiérarchisation pour les charges d’IA L’entraînement d’IA bouscule les hypothèses de hiérarchisation. Les jeux de données d’entraînement sont relus de nombreuses fois au fil des époques, souvent dans un ordre aléatoire : les hiérarchiser pendant une campagne d’entraînement provoque des rappels incessants. Mieux vaut conserver le jeu de données de référence sur le stockage objet et charger la copie de travail sur le niveau rapide, ou sur le NVMe local des serveurs GPU, avant l’entraînement, puis la libérer ensuite. Les checkpoints écrits pendant l’entraînement peuvent atterrir sur le niveau rapide puis être copiés sur le stockage objet pour leur durabilité. Exploitation et supervision Surveillez l’utilisation du niveau rapide, le volume de données migrées et rappelées chaque jour, la latence et les échecs de rappel, la capacité et le débit du stockage objet, ainsi que le nombre de stubs dans l’espace de noms. Revoyez régulièrement les politiques au regard des statistiques de rappel : des rappels fréquents de données récemment hiérarchisées indiquent des politiques trop agressives, tandis qu’un niveau rapide qui se remplit sans cesse indique des politiques trop timides. Coordonnez les fenêtres de maintenance des deux niveaux pour que la maintenance du stockage objet ne bloque pas les rappels pendant des tâches critiques. Les écueils fréquents Hiérarchiser les petits fichiers, ce qui génère un nombre énorme d’objets pour un gain de capacité minime. Les tempêtes de rappels lorsque de grosses tâches lisent des données hiérarchisées sans préchargement. Des formats objet opaques qui enferment les données dans le système de fichiers. Une bande passante réseau insuffisante entre les niveaux. La confusion avec la sauvegarde, lorsque les outils de sauvegarde déclenchent le rappel de chaque fichier hiérarchisé. Une communication floue auprès des utilisateurs sur le comportement des données hiérarchisées. Spécificités régionales Les centres de recherche en Europe, au Royaume-Uni, au Japon et ailleurs servent souvent des projets soumis à des exigences de localisation des données, comme les données de santé ou de sécurité nationale qui doivent rester dans le pays. Hiérarchiser vers un stockage objet sur site garde les données archivées en local, contrairement à une hiérarchisation vers le cloud public. Checklist : hiérarchisation d’un système de fichiers parallèle vers le stockage objet Choisissez un modèle de hiérarchisation : natif, moteur de politiques, HSM ou par copie. Décidez si les objets doivent être lisibles en S3 comme des fichiers ordinaires. Définissez des politiques selon l’ancienneté, la taille, le projet et les seuils de remplissage. Excluez les petits fichiers et les jeux de données actifs. Dimensionnez le réseau et le stockage objet pour les débits de migration et de rappel. Fournissez des outils de préchargement pour éviter les tempêtes de rappels. Coordonnez la hiérarchisation avec les outils de sauvegarde. Protégez les données du stockage objet sur plusieurs sites. Expliquez le comportement de la hiérarchisation aux utilisateurs. En résumé La hiérarchisation d’un système de fichiers parallèle vers le stockage objet offre aux environnements de recherche et d’IA un stockage rapide là où il compte et une capacité abordable pour tout le reste. Hiérarchisation native, moteurs de politiques et HSM fonctionnent tous, avec des compromis différents en matière de transparence, de comportement du rappel et de format des données. Choisissez une approche qui rend le rappel prévisible, dimensionnez le réseau et le stockage objet pour les volumes réellement déplacés et, si possible, gardez les données lisibles en S3 pour que le stockage objet puisse servir de plateforme de données de recherche partagée. Questions fréquentes Qu’est-ce que la hiérarchisation d’un système de fichiers vers le stockage objet ? Le déplacement de données d’un système de fichiers haute performance vers un stockage objet moins coûteux selon des politiques, tout en les gardant accessibles via le système de fichiers ou en S3. Les utilisateurs remarquent-ils que les données sont hiérarchisées ? Avec une hiérarchisation transparente, les fichiers restent visibles, mais la première lecture d’une donnée hiérarchisée peut être plus lente pendant son rappel. Qu’est-ce qu’une tempête de rappels ? Un afflux de rappels lorsque de nombreux fichiers hiérarchisés sont consultés en même temps, souvent par de grosses tâches, ce qui peut ralentir le système. Faut-il hiérarchiser les petits fichiers ? En général non. Ils libèrent peu de capacité et génèrent de nombreux objets ainsi qu’un surcoût de rappel. Peut-on accéder directement en S3 aux données hiérarchisées ? Seulement si l’approche de hiérarchisation stocke les fichiers comme des objets ordinaires. Certaines stockent les données dans des formats propres au système de fichiers. Pour aller plus loin Hiérarchisation des données HPC Stockage des données d’instruments Services de stockage S3 universitaires Tiered storage for AI (en anglais)
