4 Quand une bande d’ingénieurs se retrouve pour un déjeuner improvisé, un brainstorming créatif peut vite se transformer en orientation stratégique décisive. C’est lors d’un de ces déjeuners que l’idée nous est venue : Scality pourrait-elle faire fonctionner un système de fichiers sur le stockage objet cloud Azure ? Après tout, notre Scale-Out File System (SOFS) fonctionne déjà techniquement sur du stockage objet, et nous pensions qu’il devait être possible de le porter sur une autre plateforme de stockage objet. Nous savions aussi qu’il y avait un besoin : les clients se tournent vers nous pour des solutions cloud à la fois performantes et peu coûteuses. Les ingénieurs de Scality se sont donc mis au travail, en partenariat avec Microsoft, pour concrétiser cette idée. Relever le défi : construire un système de fichiers cloud à la demande et haute performance sur un stockage objet cloud bon marché Le défi avait de quoi nous mettre en « RING » (jeu de mots assumé) : Scality SOFS est un système de fichiers compatible POSIX qui existe depuis 10 ans. Les clients de Scality exploitent SOFS en production depuis des années, avec des workloads à haut débit et plusieurs pétaoctets de données. Scality SOFS dans Azure apporterait une couche d’évolutivité supplémentaire : plus de matériel dont dépendre pour la capacité de stockage, pas de capex, et tous les autres avantages du stockage cloud. Avec en prime la prise en charge des applications « historiques » grâce à l’accès par le protocole de fichiers SMB. Défi relevé et remporté : Je suis ravi de vous présenter aujourd’hui la technical preview de Scality et les premiers résultats de performance de SOFS dans le cloud Azure. En tirant parti du faible coût du stockage objet Azure Blob, SOFS offre une évolutivité à la demande et des niveaux de performance et de capacité illimités, à condition de disposer de ressources suffisantes. Planter le décor : comment en sommes-nous arrivés là ? Avant d’entrer dans le détail, prenons un peu de recul. Dès le début des années 90, les systèmes de fichiers d’entreprise et les équipements de stockage en réseau (NAS) sont devenus un moyen privilégié de résoudre les problèmes de stockage des données. Ils offraient une façon plus simple de gérer les données sous forme de fichiers, par rapport au modèle précédent du stockage bloc. Ces solutions permettaient aussi le partage de fichiers entre groupes d’utilisateurs et ont fait découvrir à l’IT d’entreprise des protocoles standard de stockage de fichiers en réseau comme NFS et SMB (en anglais). Ces protocoles sont toujours utilisés aujourd’hui et expliquent aussi la popularité du stockage de fichiers en réseau et des solutions NAS. Avec l’essor d’Internet au début des années 2000, les utilisateurs se sont heurtés à de réelles limites des systèmes de fichiers et des technologies NAS existants. De nouveaux cas d’usage ont émergé à l’« échelle d’Internet et du cloud », ce qui signifiait que le stockage devait désormais gérer des millions, voire des milliards de fichiers et des pétaoctets de données. Mais il fallait faire attention au nombre de fichiers stockés car, au final, la capacité et les performances étaient limitées par système de fichiers et par répertoire. Cela dépassait largement les capacités de la génération de systèmes de fichiers de l’époque, et a donné naissance à toute une nouvelle génération de systèmes de fichiers scale-out. Ces nouvelles solutions promettaient d’atteindre des niveaux de capacité et de performance bien plus élevés, permettant en somme à un seul déploiement de faire le travail de plusieurs équipements traditionnels non évolutifs. Les systèmes de fichiers cloud scale-out actuels sont facilement disponibles, mais coûteux. Aujourd’hui, il existe une grande variété de systèmes de fichiers scale-out proposés par de nombreux fournisseurs, dont une multitude de systèmes de fichiers cloud proposés par les grands fournisseurs cloud eux-mêmes (AWS, Azure, Google) et par des fournisseurs de stockage tiers : AWS Elastic File System (EFS), Azure Files, Google Filestore et bien d’autres. Ces systèmes de fichiers ont en commun de reposer sur des classes de stockage haut de gamme (premium) et coûteuses comme couche de persistance, afin d’offrir des performances élevées. Nous en distinguons trois variantes : Le stockage d’instance dans les VM cloud (généralement l’approche la plus coûteuse) Les services de stockage bloc (comme AWS EBS ou Azure Disk Storage) Les appliances matérielles propres à un fournisseur (comme NetApp Cloud Volumes Service for Google ou NetApp Azure Files, qui sont en fait un filer NAS géré par le fournisseur cloud) Un débit de 1 térabit par seconde avec Scality RING sur Azure Blob Pour concrétiser le rêve de Scality sur Azure, nous avons porté vers le cloud Azure la base de code de SOFS, éprouvée chez nos clients (rappelons qu’elle est déployée depuis dix ans dans de nombreuses entreprises, sur plusieurs pétaoctets). Scality SOFS s’appuie sur Azure Blob comme couche de stockage des données et sur Azure Cosmos DB pour ses métadonnées. Nous avons ensuite réalisé un test de performance comme suit : SOFS a été déployé sur des instances de machines virtuelles (VM) Azure D8S v3 à usage général, dotées chacune de 8 vCPU et de 32 Gio de RAM, avec stockage et accès aux données dans Azure Blob Hot Access Tier (en anglais). Ce niveau de stockage est optimisé pour les données actives, consultées et traitées ou destinées à l’être. Rappelons que les VM SOFS sont entièrement stateless et que nous utilisons Azure Blob pour le stockage persistant des données. Nous avons ensuite mené une série de tests de débit en E/S séquentielles agrégées à l’aide d’un outil standard du secteur appelé IOR (en anglais), en accédant à SOFS via le protocole de fichiers SMB. Les résultats ont été vraiment impressionnants sur Azure Blob Hot Access Tier. Tout d’abord, une seule VM a atteint jusqu’à 450 Mo/s en SMB, ce qui est déjà très rapide, mais surtout, nous avons étudié les effets d’un scale-out sur des VM SOFS et des clients supplémentaires. Ce faisant, SOFS a atteint un débit de 650 Gbit/s dans un seul namespace de système de fichiers SMB. Nous avons ensuite mené un second test avec le stockage flash premium d’Azure. Dans ce cas, SOFS a atteint plus de 1 Tbit/s de débit SMB : des performances vraiment massives, généralement réservées aux systèmes de fichiers HPC spécialisés sur un stockage DAS coûteux. Imaginez des performances suffisantes pour stocker ou lire des centaines de films haute définition simultanément chaque seconde ! Si notre communiqué de presse mentionnait 50 films HD par seconde, nos calculs démontrent en réalité un débit bien supérieur à ce que nos ingénieurs, prudents, nous autorisent à communiquer à la presse. Nous préférons promettre moins et livrer plus ! La force de SOFS, c’est que la montée en charge linéaire des VM cloud lui permet d’atteindre n’importe quel niveau de performance. Cela permet de répondre à des cas d’usage dans la recherche énergétique, les médias et le divertissement, l’analytique big data, l’IA/ML et bien d’autres. Des coûts divisés par 10 pour des performances équivalentes SOFS dans Azure utilise des VM peu coûteuses : nous partons d’un modèle de déploiement cloud efficace qui peut être jusqu’à 10 fois moins cher que les solutions concurrentes. De plus, nous pouvons éteindre ces instances lorsqu’elles ne sont pas nécessaires, car elles sont stateless et les données sont conservées dans Azure Blob. Par exemple, exécuter SOFS dans Azure pendant une semaine avec 100 To de capacité et 4,5 gigaoctets par seconde de débit coûterait moins de 1 200 dollars en ressources cloud Azure. Une combinaison vraiment magique d’accès à la demande et de performances scale-out sur un stockage objet cloud très abordable. Si vous souhaitez participer à la technical preview de Scality SOFS sur Azure, il nous reste quelques places. Contactez notre VP des alliances stratégiques, Wally MacDermid pour en savoir plus. Pour en savoir plus, consultez : IDC Spotlight : The Value of an On-Demand, Scale-Out File System on Low-Cost Cloud Storage Lisez notre communiqué de presse avec Microsoft.
