3 Les contrôles de fixité permettent aux archives numériques de prouver que leurs contenus n’ont pas changé. Une somme de contrôle calculée à l’entrée d’un fichier dans l’archive est comparée à une somme de contrôle calculée plus tard : si elles concordent, le fichier est intact. Pour quelques téraoctets, c’est simple. À l’échelle du pétaoctet, avec des centaines de millions ou des milliards de fichiers répartis sur plusieurs copies, le contrôle de fixité devient l’une des plus lourdes charges de travail d’une archive. Lire chaque octet prend du temps, consomme de la bande passante et entre en concurrence avec l’ingestion et l’accès, et les résultats doivent être enregistrés et suivis d’effet. Cet article explique comment les archives mènent des contrôles de fixité à grande échelle : le calcul du débit, les stratégies de planification, le rôle du contrôle d’intégrité au niveau du stockage, l’échantillonnage et le traitement des échecs. Pour le contexte plus large de la préservation, consultez notre guide sur le stockage pour la préservation numérique. Ce que recouvre le contrôle de fixité Un programme de fixité comprend généralement : Une somme de contrôle à l’ingestion : calculer une somme de contrôle pour chaque fichier avec un algorithme comme SHA-256 ou MD5, et la stocker dans les métadonnées de préservation. Une vérification périodique : relire chaque fichier, calculer une nouvelle somme de contrôle et la comparer à la valeur stockée. Une vérification lors des déplacements : contrôler la fixité après les transferts, les migrations et le renouvellement des supports. L’enregistrement des résultats : journaliser chaque contrôle, avec la date, le résultat et l’emplacement de la copie, comme preuve pour les audits. La réparation : lorsqu’un contrôle échoue, remplacer la copie endommagée par une copie vérifiée saine. C’est l’étape de vérification qui pose problème à grande échelle. Le calcul du débit À grande échelle, le contrôle de fixité est un problème de lecture. Pour vérifier un fichier, il faut le lire en entier. Prenons une archive de 10 Po par copie : À un débit de vérification agrégé de 1 Go par seconde, lire 10 Po prend environ 10 millions de secondes, soit à peu près 116 jours. À 5 Go par seconde, cela prend environ 23 jours. Avec trois copies, multipliez par trois si chaque copie est vérifiée indépendamment. Le calcul des sommes de contrôle consomme aussi du processeur, surtout avec les algorithmes les plus robustes. Et la vérification entre en concurrence avec l’ingestion, l’accès et les actions de préservation pour les mêmes ressources de stockage et de réseau. La leçon : les calendriers de fixité doivent reposer sur un débit réaliste, pas sur une fréquence souhaitée. Une politique qui prévoit de « tout vérifier chaque mois » n’a aucun sens si l’infrastructure ne peut relire l’archive qu’en quatre mois. Les stratégies à grande échelle Fixer la fréquence selon le risque Tous les contenus n’ont pas besoin de la même fréquence de vérification. Les contenus nouvellement ingérés, ceux qui résident sur des supports anciens, ceux qui viennent d’être migrés et les collections particulièrement précieuses peuvent être contrôlés plus souvent. Les contenus stables sur un stockage sain peuvent l’être moins souvent. Beaucoup d’archives visent à vérifier chaque objet de chaque copie au moins une fois par an, avec des contrôles plus fréquents pour les contenus à risque. Étaler la vérification en continu Plutôt que de lancer de grandes campagnes de vérification, exécutez les contrôles de fixité en continu en arrière-plan à un débit maîtrisé, pour couvrir toute l’archive sur le cycle cible sans pics qui perturbent le reste de l’activité. Vérifier au plus près des données Faire transiter chaque octet sur le réseau jusqu’à un serveur de vérification central est lent et coûteux. Calculer les sommes de contrôle près du stockage, sur les nœuds de stockage ou sur des serveurs du même centre de données, réduit la charge réseau. Certaines plateformes de stockage peuvent calculer les sommes de contrôle en interne et les communiquer. S’appuyer sur le contrôle d’intégrité du stockage Les plateformes de stockage objet modernes stockent généralement des sommes de contrôle pour chaque objet ou fragment et effectuent un nettoyage (scrubbing) en arrière-plan, détectant et réparant automatiquement les corruptions silencieuses à partir des données redondantes. Cela ne remplace pas les contrôles de fixité de l’archive, qui vérifient l’intégrité de bout en bout par rapport aux sommes de contrôle enregistrées à l’ingestion, mais cela réduit fortement le risque que les contrôles de préservation détectent des problèmes et ajoute une couche de protection. Échantillonnage et vérification à plusieurs niveaux Certaines archives combinent une vérification complète sur un cycle plus long avec un échantillonnage statistique fréquent, en contrôlant régulièrement une sélection aléatoire d’objets pour détecter tôt les problèmes systémiques. L’échantillonnage ne remplace pas une couverture complète, mais il alerte plus vite sur des problèmes touchant de nombreux fichiers. Vérifier toutes les copies, différemment Chaque copie doit être vérifiée, mais pas forcément à la même fréquence. Une copie en ligne peut être contrôlée en continu, tandis qu’une copie hors ligne sur bande l’est sur un cycle plus long ou lors de la migration des bandes. Choisir les algorithmes de somme de contrôle MD5 reste très utilisé en préservation parce qu’il est rapide et bien pris en charge, et il demeure efficace pour détecter les corruptions accidentelles. SHA-256 et d’autres algorithmes plus robustes sont préférés lorsque la protection contre la falsification délibérée compte, et sont de plus en plus utilisés comme somme de contrôle principale ou secondaire. Certaines archives enregistrent plusieurs algorithmes à l’ingestion. Changer d’algorithme plus tard oblige à relire chaque fichier : choisissez avec soin. Des algorithmes modernes plus rapides peuvent réduire le coût processeur pour les très grandes archives. Le conditionnement influe sur la fixité La façon dont les contenus sont conditionnés pèse lourdement sur la charge de fixité : De nombreux petits fichiers augmentent la surcharge par fichier pour la lecture, le calcul des sommes de contrôle et la journalisation. De gros fichiers conteneurs réduisent cette surcharge, mais un seul octet corrompu peut obliger à réparer tout le paquet. Les paquets fondés sur un manifeste, comme BagIt, enregistrent les sommes de contrôle de chaque fichier d’un paquet, ce qui permet de vérifier aux deux niveaux. Pensez à la fixité lorsque vous concevez ensemble le conditionnement et le stockage. Traiter les échecs Lorsqu’un contrôle de fixité échoue : Confirmer l’échec en relisant le fichier, car des erreurs de lecture passagères peuvent provoquer de fausses alertes. Examiner les autres copies pour trouver une version vérifiée saine. Réparer la copie endommagée à partir d’une copie saine et vérifier la réparation. Rechercher la cause, comme un disque défaillant, un contrôleur défectueux ou un bug logiciel, et vérifier si d’autres fichiers sont touchés. Consigner l’incident et la réparation dans les métadonnées de préservation. Des séries d’échecs, par exemple plusieurs dans le même pool de stockage, peuvent révéler des problèmes matériels ou logiciels qui demandent plus que des réparations ponctuelles. Enregistrer et rendre compte Les résultats de fixité sont des preuves. Les auditeurs et les dispositifs de certification recherchent des traces montrant que chaque objet a été vérifié régulièrement et que les échecs ont été traités. Stockez les résultats dans la base de données du système de préservation, suivez les taux de couverture et d’échec et conservez l’historique des journaux. Des tableaux de bord indiquant la part de l’archive vérifiée dans le cycle cible aident les responsables à voir si le programme suit le rythme. Un exemple de planification chiffré Imaginons une archive de 6 Po par copie répartie sur trois copies : deux copies en stockage objet en ligne sur des sites différents et une copie sur bande. Chaque plateforme en ligne peut soutenir environ 3 Go par seconde de lectures de vérification sans affecter l’ingestion ni l’accès. Lire 6 Po à 3 Go par seconde prend environ 23 jours : chaque copie en ligne pourrait donc en théorie être entièrement vérifiée à peu près chaque mois. En pratique, l’archive exécute la vérification à un débit d’arrière-plan plus faible, boucle un cycle complet chaque trimestre et contrôle les contenus nouvellement ingérés dans leur première semaine. La copie sur bande est vérifiée sur un cycle de deux à trois ans aligné sur les migrations de bandes, plus un petit échantillon aléatoire chaque mois. Un échantillonnage statistique de 0,1 % des objets de chaque copie en ligne tourne chaque semaine pour repérer tôt les problèmes systémiques. Cette combinaison assure une couverture complète trimestrielle en ligne, une détection précoce et la couverture de chaque copie dans le cadre de la politique de l’archive. La fixité des contenus en transit Beaucoup de défaillances d’intégrité surviennent non pas au repos mais pendant les déplacements : ingestion depuis les producteurs, transferts entre sites, migrations et livraison aux utilisateurs. Contrôler la fixité à chaque passage de relais, en comparant les sommes de contrôle avant et après le déplacement, détecte les problèmes là où ils se produisent, quand ils sont le plus faciles à corriger. Les outils de transfert et les systèmes de préservation qui vérifient automatiquement pendant les déplacements allègent la charge des contrôles périodiques. L’infrastructure de la fixité à grande échelle Un stockage à débit de lecture agrégé élevé qui progresse avec la capacité. Une capacité réseau suffisante entre le stockage et les processus de vérification. Du calcul pour les sommes de contrôle, idéalement près des données. Un logiciel de planification qui étale la vérification et donne la priorité aux risques. Un nettoyage au niveau du stockage pour détecter tôt les corruptions. Le stockage objet scale-out s’y prête bien : à mesure que la capacité augmente par ajout de nœuds, le débit de lecture augmente aussi, ce qui garde des cycles de vérification stables. Liste de contrôle : contrôles de fixité à grande échelle Calculer et stocker une somme de contrôle pour chaque fichier à l’ingestion. Calculer la durée d’un cycle de vérification complet au débit réel. Fixer la fréquence de vérification selon le risque, avec au minimum une couverture annuelle complète. Exécuter la vérification en continu et au plus près des données. Utiliser des plateformes de stockage dotées d’un contrôle d’intégrité en arrière-plan. Ajouter un échantillonnage statistique pour une alerte précoce. Vérifier chaque copie, y compris les copies hors ligne, selon des cycles définis. Automatiser la confirmation, la réparation et l’enregistrement des échecs. Rendre compte de la couverture et des taux d’échec pour les audits. En résumé Les contrôles de fixité à grande échelle sont autant un problème de planification de la capacité qu’un problème de préservation. Déterminez à quelle vitesse l’infrastructure peut relire l’archive, fixez des cycles de vérification adaptés, donnez la priorité aux contenus à risque et exécutez les contrôles en continu au plus près des données. Laissez la plateforme de stockage nettoyer et réparer sous le système de préservation, et tenez des traces complètes. Bien mené, le contrôle de fixité devient un processus de fond routinier qui donne à l’archive, et à ses auditeurs, l’assurance que chaque objet est toujours intact. Questions fréquentes Qu’est-ce qu’un contrôle de fixité ? Une comparaison entre une somme de contrôle calculée à l’entrée d’un contenu dans l’archive et une somme de contrôle calculée plus tard, qui confirme que le contenu n’a pas changé. À quelle fréquence faut-il contrôler la fixité ? Beaucoup d’archives visent à vérifier chaque objet de chaque copie au moins une fois par an, avec des contrôles plus fréquents pour les contenus à risque. Le nettoyage au niveau du stockage remplace-t-il les contrôles de fixité ? Non. Il détecte et répare les corruptions au sein de la plateforme de stockage, mais les archives ont toujours besoin de contrôles de bout en bout par rapport aux sommes de contrôle enregistrées à l’ingestion. MD5 est-il encore acceptable pour la fixité ? Il est efficace pour détecter les corruptions accidentelles et très utilisé. Les algorithmes plus robustes comme SHA-256 sont préférés lorsque la falsification est un risque. Que se passe-t-il quand un contrôle de fixité échoue ? Il faut confirmer l’échec, trouver une copie saine, réparer la copie endommagée, rechercher la cause et consigner l’incident. Pour aller plus loin Stockage pour la préservation numérique Le modèle OAIS et le stockage Les copies de préservation numérique Stockage pour la gestion des données de recherche Durabilité des données dans les systèmes de stockage haute densité (en anglais)
