2 Les meilleures solutions de stockage objet compatibles S3 associent une large compatibilité avec l’API Amazon S3 à l’évolutivité, à la durabilité des données, à la sécurité et à la prise en charge des applications qui doivent accéder aux données. Parmi les principales options figurent Scality, Cloudian, MinIO, Ceph et les services de stockage objet dans le cloud, même si le bon choix dépend fortement de la charge de travail, du modèle de déploiement et des exigences opérationnelles. La compatibilité S3 est devenue un critère important, car l’API Amazon S3 est largement utilisée comme interface de stockage objet. Les applications conçues pour S3 peuvent potentiellement fonctionner sur toutes les plateformes de stockage compatibles sans que les organisations aient à repenser la manière dont ces applications accèdent aux données. Cependant, la compatibilité S3 ne rend pas à elle seule deux systèmes de stockage équivalents. L’architecture, les API prises en charge, les contrôles de sécurité, les caractéristiques de performance, les options de déploiement et les exigences opérationnelles peuvent varier considérablement. Ce guide explique ce qu’il faut examiner et compare quelques-unes des principales options de stockage objet compatibles S3. Qu’est-ce que le stockage objet compatible S3 ? Le stockage objet compatible S3 est un système de stockage qui implémente l’API Amazon Simple Storage Service (S3), ou une part substantielle de celle-ci. Au lieu d’accéder aux données via des protocoles de système de fichiers traditionnels, les applications communiquent avec le stockage objet par des opérations d’API. Les données sont stockées sous forme d’objets dans des buckets, avec des métadonnées associées à chaque objet. Comme l’API S3 a été largement adoptée par les éditeurs de logiciels et les développeurs, elle est devenue une interface courante pour l’infrastructure de données non structurées. Le stockage compatible S3 peut donc prendre en charge des applications conçues à l’origine pour Amazon S3 tout en permettant aux données sous-jacentes de résider dans un autre environnement. Les usages courants incluent : La sauvegarde et la restauration Les jeux de données d’IA et de machine learning Les data lakes et l’analytique Les référentiels multimédias Les données applicatives Les archives Kubernetes et les applications cloud natives L’infrastructure de cloud privé et hybride La distinction importante est que compatible S3 ne signifie pas forcément identique à Amazon S3. Les plateformes peuvent prendre en charge différentes parties de l’API S3 ou implémenter certaines fonctions différemment. Ceph, par exemple, décrit son Object Gateway comme compatible avec un large sous-ensemble de l’API REST d’Amazon S3. Qu’est-ce qui fait une bonne solution de stockage compatible S3 ? Comparer des stockages compatibles S3 exige d’aller au-delà de la capacité d’une application à effectuer des opérations PUT, GET et DELETE de base. Les environnements d’entreprise doivent généralement évaluer plusieurs domaines. La compatibilité avec l’API S3 Le premier critère est l’étendue et la maturité de l’implémentation S3. Selon la charge de travail, les applications peuvent s’appuyer sur des capacités comme : Le versioning des buckets Les envois multipart Le balisage des objets Les politiques de cycle de vie S3 Object Lock La gestion des identités et des accès Le chiffrement La réplication Les notifications d’événements Une application peut techniquement prendre en charge S3 tout en reposant sur des opérations ou des comportements que toutes les plateformes de stockage n’implémentent pas. C’est pourquoi la validation applicative compte. Scality, par exemple, teste et documente la compatibilité avec les applications qui utilisent l’API S3, car chaque application utilise des API, des tailles d’objets et des profils de performance différents. L’évolutivité L’une des principales raisons pour lesquelles les organisations adoptent le stockage objet est sa capacité à gérer des jeux de données volumineux et en croissance continue. Une bonne plateforme doit permettre à l’infrastructure de stockage de s’étendre sans migrations perturbantes ni changements d’architecture majeurs. Les organisations doivent regarder au-delà de la capacité brute. Les questions pertinentes sont notamment : Combien d’objets la plateforme peut-elle gérer ? Combien de buckets sont pris en charge ? La capacité et les performances peuvent-elles évoluer indépendamment ? Que se passe-t-il lorsque de nouveaux nœuds sont ajoutés ? L’architecture peut-elle couvrir plusieurs sites ? Dans quelle mesure la charge opérationnelle augmente-t-elle à mesure que l’environnement grandit ? Ces questions deviennent particulièrement importantes lorsque le stockage doit passer de quelques téraoctets à plusieurs pétaoctets, voire au-delà. La durabilité et la disponibilité des données Le stockage objet devient souvent le référentiel à long terme des données critiques de l’entreprise. Les plateformes doivent donc disposer de mécanismes qui protègent les données contre les pannes de disques, de nœuds et potentiellement de sites. Selon l’architecture, il peut s’agir de réplication, de codage à effacement, de vérification d’intégrité et de protection répartie géographiquement. L’architecture appropriée dépend des objectifs de reprise de l’organisation et de la conception de son infrastructure. La sécurité et l’immuabilité Le stockage compatible S3 joue un rôle croissant dans les stratégies de protection des données, en particulier à mesure que les organisations déplacent leurs référentiels de sauvegarde vers le stockage objet. Les fonctions à évaluer comprennent : S3 Object Lock Le chiffrement au repos et en transit Les contrôles d’identité et d’accès L’authentification multifacteur pour les administrateurs L’accès fondé sur les rôles Les capacités d’audit L’isolement réseau La protection de l’intégrité des données Object Lock est particulièrement important pour les environnements de sauvegarde, car il peut empêcher la modification ou la suppression des objets protégés pendant une période de conservation définie. Les performances Il n’existe pas d’exigence de performance unique pour le stockage objet. Les référentiels de sauvegarde peuvent privilégier un débit soutenu. Les pipelines d’IA peuvent avoir besoin d’un accès parallèle à de très grands jeux de données. Les applications qui manipulent un grand nombre de petits objets peuvent dépendre fortement des performances transactionnelles et de la latence. Les résultats de benchmarks doivent donc être interprétés dans le contexte de la charge de travail réelle, et non comme une mesure universelle des performances du stockage. La flexibilité de déploiement Le stockage compatible S3 peut être déployé de plusieurs façons : Cloud public Cloud privé Centres de données sur site Machines virtuelles Environnements Kubernetes Appliances dédiées Serveurs x86 standard Environnements hybrides Les organisations doivent déterminer si elles veulent posséder l’infrastructure, consommer du cloud, déployer un logiciel défini par logiciel ou combiner ces approches. Les meilleures solutions de stockage objet compatibles S3 Aucune plateforme n’est la meilleure pour tous les environnements. Le choix le plus solide dépend de la priorité : échelle d’entreprise, simplicité d’exploitation, flexibilité de l’open source, consommation cloud ou charge de travail spécifique. Voici plusieurs options couramment envisagées. SolutionModèle de déploiementUsage idéalPoint de vigilanceScalitySur site, cloud privé/hybride, défini par logicielStockage d’entreprise, sauvegarde, IA, infrastructure cloudPlusieurs produits répondent à des exigences d’échelle et de charge différentesCloudianSur site et hybrideStockage objet S3 d’entreprisePrincipalement centré sur le stockage objet S3MinIODéfini par logiciel / cloud natifEnvironnements orientés développeurs et KubernetesLe modèle d’exploitation doit être évalué au regard des exigences de l’entrepriseCephOpen source / défini par logicielOrganisations qui veulent du stockage objet, bloc et fichierExige une expertise d’infrastructure et d’exploitation importanteStockage objet dans le cloudCloud publicApplications cloud natives et consommation élastiqueCoût à long terme, frais de sortie et exigences de localisation des données variables selon le fournisseur 1. Scality Scality fournit un stockage objet défini par logiciel conçu pour les environnements d’entreprise, avec une compatibilité S3 sur l’ensemble de son portefeuille de stockage objet. Plutôt que de proposer une seule configuration pour tous les cas d’usage, Scality propose des plateformes adaptées à des exigences d’infrastructure différentes. Scality RING Scality RING est conçu pour les environnements à grande échelle qui exigent un stockage objet et fichier sur une infrastructure de l’ordre du pétaoctet. RING offre une interface S3 native tout en prenant en charge des cas d’usage comme : La sauvegarde d’entreprise Les grandes archives Les pipelines de données d’IA L’analytique big data Les référentiels multimédias L’infrastructure de cloud privé Le stockage des fournisseurs de services Les applications distribuées Son architecture définie par logiciel permet aux organisations de déployer le stockage sur du matériel standard et de faire évoluer l’infrastructure au rythme des besoins. Scality positionne RING sur les environnements où la distribution géographique, l’indépendance matérielle et la flexibilité à grande échelle sont prioritaires. Pour les organisations qui construisent de grands environnements S3, l’architecture de Scality est conçue pour faire évoluer indépendamment la capacité, les performances et l’exploitation. L’architecture actuelle de Scality prend en charge des environnements allant du pétaoctet à l’exaoctet, avec des dizaines de milliards d’objets et un grand nombre de buckets. Scality ARTESCA ARTESCA fournit un stockage objet compatible S3 particulièrement axé sur la protection des données cyber-résiliente. Il peut fonctionner sur des serveurs standard ou des machines virtuelles et est conçu pour démarrer à des capacités plus faibles que les déploiements de stockage objet à grande échelle traditionnels. Scality prend actuellement en charge l’extension d’ARTESCA jusqu’à environ 8,5 Po. Ses capacités de sécurité comprennent : S3 Object Lock Des politiques de conservation Le chiffrement AES-256 au repos Des connexions HTTPS/TLS L’authentification S3 v4 Une gestion des identités compatible AWS IAM Le codage à effacement La réplication ARTESCA convient donc particulièrement aux organisations qui évaluent un stockage compatible S3 comme cible de sauvegarde immuable. Scality valide aussi ARTESCA avec les principales applications de sauvegarde et de protection des données, plutôt que de s’en remettre uniquement à une compatibilité S3 générale. Scality ADI Pour les organisations qui évaluent une infrastructure de stockage pour l’IA et les environnements de données à très grande échelle, Scality ADI étend le portefeuille vers l’infrastructure de données autonome. ADI est conçu pour l’entraînement et l’inférence IA, les opérations cyber-résilientes et les plateformes de données souveraines, avec la prise en charge de plusieurs supports de stockage et d’environnements à très grande échelle. La distinction entre les plateformes de Scality permet aux organisations de choisir une architecture en fonction de la charge de travail, plutôt que de traiter tous les déploiements S3 comme identiques. 2. Cloudian HyperStore Cloudian HyperStore est une autre plateforme de stockage objet compatible S3 d’entreprise bien établie. Elle est conçue principalement pour les environnements sur site et hybrides et offre une architecture centrée sur S3 pour des charges comme la sauvegarde, l’archivage, les data lakes et le stockage en cloud privé. Cloudian met en avant son implémentation native de l’API S3 et sa capacité à évoluer dans les déploiements de grandes entreprises et de fournisseurs de services. Les organisations qui comparent Cloudian à d’autres plateformes doivent prendre en compte : L’échelle requise Le modèle matériel Les exigences multisites L’écosystème applicatif Le profil de performance L’architecture de sécurité Le modèle d’exploitation Pour les environnements qui recherchent spécifiquement une plateforme S3 d’entreprise, Cloudian apparaît souvent aux côtés de Scality lors des évaluations. 3. MinIO MinIO s’est fait connaître en apportant le stockage objet compatible S3 dans les environnements définis par logiciel et cloud natifs. Son architecture a historiquement séduit les équipes de développement et les organisations qui construisent leur infrastructure autour des conteneurs, de Kubernetes et des applications modernes. MinIO peut être utile lorsque l’accès via l’API S3 et le déploiement défini par logiciel sont des exigences centrales. Comme pour toute plateforme, les entreprises doivent évaluer l’architecture du produit actuel, son modèle de support, la gestion de son cycle de vie et ses exigences opérationnelles au regard de l’échelle et de la disponibilité requises par la charge de travail visée. Il est particulièrement important de distinguer le fait de faire fonctionner un stockage objet dans un environnement de développement et celui de l’exploiter comme infrastructure d’entreprise critique pendant de nombreuses années. Le second introduit des exigences en matière de mises à niveau, de pannes matérielles, de planification de la capacité, de supervision, de sécurité, de reprise après sinistre et de support qui ne sont pas forcément visibles lors d’une première preuve de concept. 4. Ceph Ceph est une plateforme de stockage distribuée open source capable de fournir du stockage objet, bloc et fichier à partir d’un cluster de stockage commun. Sa RADOS Gateway fournit une interface compatible S3 qui prend en charge un large sous-ensemble de l’API REST d’Amazon S3. Ceph peut séduire les organisations qui veulent : Une infrastructure open source Des services objet, bloc et fichier Le contrôle de l’architecture de stockage sous-jacente L’intégration à des environnements cloud open source plus larges Cette flexibilité s’accompagne de considérations opérationnelles. Déployer et maintenir Ceph à l’échelle de l’entreprise peut exiger une expertise importante. Les organisations doivent planifier l’architecture du cluster, le matériel, le réseau, les mises à niveau, la supervision, la reprise après panne et l’optimisation des performances. Pour les équipes qui disposent des compétences nécessaires, Ceph offre une grande flexibilité architecturale. Les organisations qui recherchent une expérience de stockage objet plus clé en main peuvent préférer une plateforme commerciale conçue spécifiquement autour de ce modèle d’exploitation. 5. Le stockage objet du cloud public Les plateformes de cloud public sont une autre option pour les applications qui communiquent via des API de stockage objet. Amazon S3 définit lui-même l’API à laquelle les plateformes compatibles S3 sont généralement comparées. D’autres fournisseurs de cloud proposent des services de stockage objet avec différents niveaux d’interopérabilité S3 ou d’outils de migration. Le stockage objet dans le cloud peut être approprié lorsque : Les applications s’exécutent déjà principalement dans le cloud public Posséder l’infrastructure n’est pas souhaité Les besoins de capacité fluctuent fortement Les régions géographiques du cloud sont importantes Une infrastructure à la consommation correspond au modèle opérationnel Les compromis diffèrent de ceux du stockage objet sur site. Les organisations doivent modéliser la capacité de stockage, les opérations d’API, la récupération, le transfert de données et les frais de sortie sur la durée de vie prévue du jeu de données. La souveraineté des données et la capacité à déplacer de grands jeux de données entre environnements peuvent aussi peser sur la décision. Scality, MinIO, Ceph et Cloudian comparés Dans les grandes lignes, ces plateformes répondent à des exigences qui se recoupent, mais avec des points forts différents. ExigenceScalityCloudianMinIOCephStockage objet compatible S3OuiOuiOuiOuiSupport commercial d’entrepriseOuiOuiOuiDisponible via des distributions commercialesDéploiement défini par logicielOuiOuiOuiOuiOpen sourceNonNonPartiel/selon l’écosystèmeOuiCapacités objet + fichierRINGPrincipalement objetPrincipalement objetOuiDéploiements en grande entrepriseTrès adaptéTrès adaptéSelon l’architectureAdapté avec l’expertise requiseCas d’usage de sauvegarde immuableTrès adaptéTrès adaptéSelon la charge de travailSelon la configurationSimplicité d’exploitationSelon le produitSelon le produitSelon le produitExige généralement plus d’expertise Cette comparaison est volontairement générale. Les capacités réelles varient selon la version et la configuration des produits : les organisations doivent donc valider leurs exigences directement auprès de la documentation actuelle des éditeurs. Quel stockage objet compatible S3 choisir pour la sauvegarde ? La sauvegarde est devenue l’un des usages les plus importants du stockage compatible S3. Les plateformes de sauvegarde modernes écrivent de plus en plus directement sur le stockage objet, ce qui permet aux organisations d’utiliser S3 Object Lock et des politiques de conservation pour créer des référentiels de sauvegarde immuables. Pour cette charge de travail, privilégiez : Une intégration de sauvegarde validée. Vérifiez que l’application de sauvegarde et la plateforme de stockage ont été testées ensemble. S3 Object Lock. Vérifiez comment l’immuabilité est mise en œuvre et administrée. Une sécurité au-delà de l’immuabilité. L’authentification, le chiffrement, la sécurité de l’administration et la résilience de l’infrastructure restent importants même lorsque les objets sont verrouillés. Les performances de restauration. Les performances d’ingestion des sauvegardes comptent, mais les exigences de reprise méritent la même attention. L’efficacité de la capacité. Le codage à effacement et le surcoût de protection des données peuvent influer sensiblement sur la capacité utile. La simplicité d’exploitation. L’infrastructure de sauvegarde doit rester gérable lors des mises à niveau, des pannes et des opérations de reprise. Scality ARTESCA est conçu spécifiquement pour ce cas d’usage, en associant un stockage compatible S3 à Object Lock, au codage à effacement, au chiffrement et à des intégrations validées avec les plateformes de protection des données. Quel stockage compatible S3 choisir pour l’IA ? L’IA crée un profil de stockage différent. L’entraînement, l’inférence, la génération augmentée par récupération et l’analytique peuvent impliquer d’énormes collections de données non structurées. Le stockage peut devoir offrir à la fois un débit élevé et des opérations de métadonnées à grande échelle tout en servant de nombreuses applications simultanées. Les critères importants comprennent : Le débit agrégé La latence Le parallélisme Les performances des métadonnées Les performances sur petits et gros objets Les pipelines de données GPU L’évolution de la capacité La gestion du cycle de vie des données L’intégration aux outils d’IA S3 est de plus en plus utile dans ces architectures, car il fournit une API commune par laquelle les applications et les pipelines de données peuvent accéder à de grands jeux de données. Le portefeuille actuel de Scality cible ces environnements avec RING et ADI, notamment pour les pipelines de données d’IA et l’infrastructure S3 à grande échelle. Quel stockage compatible S3 choisir pour le cloud privé ? Les environnements de cloud privé exigent généralement plus qu’un point de terminaison S3. La couche de stockage peut devoir prendre en charge plusieurs locataires, un grand nombre de buckets, l’isolement des applications, des politiques IAM, l’automatisation et une infrastructure répartie géographiquement. Recherchez : Le multi-locataire Un IAM compatible AWS Un grand nombre de buckets et d’objets L’automatisation de l’infrastructure L’intégration à Kubernetes La réplication multisite Une évolutivité prévisible Des API de supervision Scality RING, Cloudian et Ceph sont tous couramment pertinents dans cette catégorie, même si leurs approches opérationnelles diffèrent sensiblement. Scality RING prend en charge un stockage objet S3 et fichier unifié et est conçu pour des environnements scale-out où l’infrastructure peut s’étendre sans migrations perturbantes. Stockage compatible S3 open source ou commercial : lequel est le meilleur ? Aucune approche n’est universellement meilleure. Le stockage open source peut offrir une grande flexibilité et beaucoup de contrôle. Ceph en est un bon exemple : les organisations peuvent bâtir une infrastructure de stockage distribuée sophistiquée sans dépendre d’une plateforme de stockage propriétaire. Le coût est souvent déplacé vers l’ingénierie et l’exploitation. Les plateformes de stockage objet commerciales intègrent au produit et au modèle de support le développement logiciel, les tests, les mises à niveau, le support et la qualification du matériel. Cela peut réduire la quantité d’ingénierie du stockage qu’une équipe interne doit assurer. La question pertinente n’est donc pas simplement le coût de la licence logicielle. Les organisations doivent comparer l’ensemble des exigences opérationnelles en matière de : Infrastructure Administration Support Mises à niveau Supervision Extension de la capacité Dépannage Reprise après sinistre Validation applicative Pour les grands environnements, ces facteurs peuvent peser davantage sur le coût total que le modèle d’acquisition initial du logiciel. Comment choisir une solution de stockage objet compatible S3 Partez des applications et des données plutôt que de l’éditeur. Documentez la charge de travail attendue, notamment : La capacité initiale et future Le nombre et la taille des objets Les profils de lecture et d’écriture Le débit requis Les exigences de disponibilité Les durées de conservation Les objectifs de sauvegarde et de reprise La distribution géographique Les exigences de sécurité Les intégrations applicatives Validez ensuite les fonctions S3 que ces applications utilisent réellement. Une preuve de concept doit reproduire des charges de travail réalistes plutôt que de tester uniquement la connectivité S3 de base. Incluez des tailles d’objets représentatives, la concurrence, des scénarios de panne et les intégrations applicatives. Enfin, évaluez le fonctionnement de la plateforme dans la durée. Une infrastructure de stockage objet est souvent déployée parce que les données doivent rester accessibles pendant des années : l’extension, les mises à niveau, le remplacement du matériel et le support sont donc des éléments importants de la décision. Quelle est la meilleure solution de stockage objet compatible S3 ? La meilleure solution de stockage objet compatible S3 dépend de la charge de travail. Scality convient bien aux entreprises qui ont besoin d’un stockage compatible S3 bénéficiant d’un support commercial sur une infrastructure à grande échelle, pour la sauvegarde cyber-résiliente, le cloud privé et les environnements d’IA. Cloudian est une autre option bien établie pour les organisations centrées sur le stockage objet S3 d’entreprise. MinIO peut convenir aux environnements définis par logiciel et cloud natifs lorsque son architecture et son modèle d’exploitation correspondent aux exigences de l’organisation. Ceph offre une flexibilité considérable aux organisations qui ont l’expertise pour bâtir et exploiter un stockage distribué open source. Le stockage objet du cloud public reste approprié lorsque la consommation cloud et l’infrastructure managée comptent davantage que le contrôle direct de l’environnement de stockage. La compatibilité S3 fournit une interface commune, mais elle doit être le point de départ plutôt que le critère de sélection final. L’évolutivité, la sécurité, la validation applicative, les performances et les exigences opérationnelles déterminent en définitive quelle plateforme de stockage objet convient le mieux à un environnement donné.
