6 Scality RING (en anglais) gère désormais le chiffre record de six exaoctets de capacité de stockage client, soit 6 000 pétaoctets. Il s’agit de la capacité utile fournie à nos clients, distincte de la capacité brute des disques, bien plus importante. Pour déterminer la capacité brute correspondante, il faut additionner les capacités des disques livrés sur les serveurs de stockage gérés par RING, chez l’ensemble de nos partenaires matériels, dont HPE (en anglais), Cisco (en anglais), SuperMicro (en anglais), Lenovo, (en anglais) Dell, Gigabyte (en anglais) et d’autres fournisseurs populaires dans des pays et régions comme le Japon et l’Asie du Sud-Est. Compte tenu des mécanismes de protection des données de RING — erasure coding (EC, en anglais) et réplication —, elle représente en moyenne 1,5 à 2 fois la capacité utile, soit environ 10 exaoctets de capacité brute sur les serveurs gérés par RING. Six exaoctets (Eo) de capacité utile, qu’est-ce que cela représente ? C’est six fois plus que ce que déclarent les utilisateurs de la solution de stockage Ceph (en anglais). Selon Backblaze, six exaoctets représenteraient tous les mots jamais prononcés dans l’histoire (en anglais). Sur la base de 1,4 gigaoctet par heure, cela représente 489 236 ans de vidéos ou six mille milliards de photos de 1 mégaoctet chacune, selon Foyer. (en anglais) Cas d’usage et exemples clients de Scality RING Depuis des années, RING sert d’infrastructure de stockage à de grands fournisseurs de services (en anglais) cloud et à des environnements de cloud privé d’entreprise, avec des charges objet S3 et système de fichiers véritablement massives. Quelques exemples : Le cloud d’un fournisseur de services américain : un seul RING stocke actuellement 300 milliards d’objets, et ce chiffre augmente. Ce RING à très grande échelle est déployé sur trois datacenters selon un modèle « étendu géographiquement », pour tolérer la perte d’un site et offrir une très haute disponibilité. Le cloud privé d’une banque européenne : un seul RING sert plus de 1 200 applications simultanées dans cet environnement cloud d’entreprise. Ce nombre d’applications sollicitant le système crée une charge mixte très imprévisible et exigeante, que seule une architecture de stockage extrêmement flexible peut gérer. Un fournisseur de services de voyage stocke chaque jour un pétaoctet de nouvelles données dans RING, tout en y donnant accès simultanément à des charges d’analytique. Le data lake de plus de 100 pétaoctets d’une banque américaine : RING permet d’ingérer simultanément des centaines de téraoctets de nouvelles données dans chacun des deux datacenters, tout en servant des applications de machine learning et d’analytique et en répliquant les données de manière asynchrone entre les deux sites. Cela permet une solution de reprise après sinistre actif/actif. Un grand éditeur de médias en Asie gère près de 30 pétaoctets de vidéos sur le système de fichiers (en anglais) scale-out de RING (SOFS), pour un accès en streaming par des centaines de milliers d’abonnés en ligne. Pour supporter ce niveau de simultanéité, l’accès passe par plus de 80 points d’accès de système de fichiers sur un pool de données commun. Le secret de RING : l’évolutivité multidimensionnelle dans un système unique Ce qui rend cela possible dans RING, c’est avant tout une architecture de stockage distribuée et scale-out. Les systèmes scale-out existent sous de nombreuses formes et, évidemment, presque tous les fournisseurs affirment pouvoir faire évoluer la capacité de stockage. Pour rendre notre solution flexible et permettre à nos clients de déployer des solutions comme celles décrites ci-dessus, Scality RING porte l’évolutivité à un nouveau niveau, avec neuf dimensions de scale-out dans un système unique : Évolutivité de la capacité – de centaines de téraoctets à plusieurs exaoctets, par ajout de disques, de serveurs, de racks ou de datacenters, tout en restant 100 % en ligne et disponible. Évolutivité des métadonnées (c’est-à-dire le catalogue et l’index de l’espace de noms) – indépendamment de la capacité. Évolutivité des objets S3 – le nombre d’objets par bucket S3 peut atteindre des centaines de milliards. Évolutivité des buckets S3 – le nombre de buckets S3 peut passer d’un seul à des centaines de millions. Évolutivité des demandes d’authentification – de milliers à des millions de transactions S3 authentifiées par seconde. Latence à grande échelle – des temps de réponse constants à très grande échelle. Évolutivité du débit – de gigaoctets à téraoctets par seconde pour les flux de données entrants et sortants. Évolutivité indépendante du calcul de stockage et de la capacité – grâce à une architecture découplée (désagrégée), le système peut faire évoluer les ressources de calcul S3 indépendamment de la capacité, selon les besoins de la charge. Évolutivité de la journalisation, des métriques et de la supervision – dans un grand déploiement, RING peut gérer des journaux qui atteignent avec le temps l’échelle du pétaoctet et générer d’énormes volumes de métriques de supervision et d’indicateurs clés de performance. Il faut de nombreuses années de collaboration étroite avec les clients pour comprendre les multiples facettes de l’évolutivité qu’exigent leurs charges de travail. Si une partie est prévisible à l’avance, de nombreuses exigences en matière de stockage ne se révèlent qu’au moment du déploiement. Par exemple, certaines nouvelles applications cloud native créent un milliard d’objets dans un seul bucket, ou au contraire un bucket par utilisateur pour un service cloud conçu pour des millions d’utilisateurs. Aucune de ces approches ne correspond aux bonnes pratiques connues d’interaction entre applications et stockage, et pourtant elles sont courantes. Dans un cloud multi-tenant, fournir du stockage à des centaines, voire des milliers de charges simultanées provoque des pics de ressources pour des tâches fondamentales : demandes d’authentification, suivi des métriques d’utilisation des comptes, suivi et envoi d’alertes d’état et d’indicateurs clés de performance pour la supervision. Déploiements à l’échelle de l’exaoctet : la tendance pour les data lakes d’IA de nouvelle génération Nous constatons aussi la multiplication des déploiements à l’échelle de l’exaoctet sur un système unique, pour de grands services cloud et des data lakes d’IA. Nous pensons que RING est le seul système de stockage capable de gérer ce niveau de complexité et d’échelle, grâce à de nombreux aspects de son architecture, notamment : Une utilisation très efficace des disques grâce à des conteneurs sur disque, qui évitent la fragmentation due aux petits fichiers et permettent à RING de fonctionner bien plus efficacement que d’autres systèmes même lorsqu’il est presque plein. Un usage intensif du flash pour les métadonnées et les index internes, qui épargne aux disques une grande partie des opérations d’E/S. La capacité à appliquer chaque mécanisme de protection des données là où il est le plus efficace — réplication multicopie pour les petits fichiers et erasure coding pour les gros, avec un seuil de taille réglable. Des niveaux de parité variables en erasure coding, pour s’adapter à la répartition des tailles de données et aux topologies de déploiement (monosite et multisite). Par exemple, RING peut être déployé sur trois datacenters selon un modèle synchrone « étendu géographiquement » qui tolère la perte complète d’un datacenter, avec un surcoût d’espace bien inférieur à 2x. De nombreux autres systèmes exigeraient trois copies complètes des données — une par site — pour ce niveau de résilience et de haute disponibilité. Tout cela, et bien plus, a été affiné au fil d’années de travail avec les plus grandes entreprises du monde, des fournisseurs de services cloud et des administrations (en anglais), pour bâtir des infrastructures de stockage fondées sur Scality RING capables de relever leurs défis de données à très grande échelle. Envie de savoir comment Scality RING peut transformer votre gestion des données ? Contactez-nous dès aujourd’hui. (en anglais)
