2 Le stockage des photos et vidéos grand public est l’une des plus grandes charges de stockage d’internet. Réseaux sociaux, messageries, applications de sauvegarde photo, applications de rencontre, places de marché et clouds personnels d’opérateurs stockent ensemble des centaines de milliards d’images et de vidéos, et des millions s’y ajoutent chaque heure. Chaque envoi doit être stocké durablement, décliné en plusieurs tailles et formats, servi rapidement aux utilisateurs du monde entier et conservé pendant des années, à un coût assez bas pour financer des offres gratuites. Les schémas d’architecture de ces services sont bien établis, et ils s’appliquent à toute application qui stocke des médias d’utilisateurs à grande échelle. Cet article explique comment les applications grand public stockent des milliards de photos et de vidéos : le parcours d’envoi, la conception du stockage objet, les métadonnées, les déclinaisons, la déduplication, la hiérarchisation, la diffusion, la confidentialité et la maîtrise des coûts. Pour le contexte du stockage de fichiers, consultez notre article SaaS file storage (en anglais). Le parcours d’envoi Un parcours d’envoi typique : L’envoi par le client : l’application envoie la photo ou la vidéo directement vers le stockage objet via une URL présignée ou un service d’envoi, souvent par fragments avec reprise possible pour les grosses vidéos et les réseaux mobiles instables. La validation : le service vérifie le type, la taille et l’intégrité du fichier et recherche les contenus malveillants. L’enregistrement des métadonnées : le service crée un enregistrement en base de données avec le propriétaire, les horodatages, les informations sur l’appareil et l’emplacement de stockage. Le traitement : des workers asynchrones génèrent miniatures, versions redimensionnées, déclinaisons vidéo transcodées et caractéristiques pour la recherche ou la modération. La disponibilité : l’élément apparaît dans la bibliothèque et les fils de l’utilisateur une fois le traitement terminé. Les envois directs vers le stockage évitent de faire transiter de gros flux médias par les serveurs applicatifs, ce qui réduit les coûts et améliore la fiabilité. Le stockage objet comme socle Les médias grand public conviennent naturellement au stockage objet : Un contenu immuable : les photos et vidéos sont écrites une fois et rarement modifiées. Un nombre d’objets massif : des milliards d’originaux et bien plus encore de déclinaisons. Une diffusion native en HTTP vers les CDN et les clients. Une croissance scale-out par ajout de nœuds. Une protection efficace grâce à l’erasure coding (en anglais) entre nœuds et entre sites. Les clés d’objets sont généralement des identifiants générés plutôt que des noms fournis par l’utilisateur, ce qui répartit la charge uniformément et évite d’exposer des informations personnelles dans les chemins. Les métadonnées à grande échelle La couche de métadonnées enregistre le propriétaire de chaque élément, les albums, les droits de partage, les légendes, les lieux, les visages ou tags et les pointeurs vers chaque déclinaison stockée. À l’échelle de milliards d’éléments, les bases de métadonnées sont partitionnées sur de nombreux nœuds, généralement par utilisateur. Les profils d’accès aux métadonnées, comme le chargement du fil chronologique d’un utilisateur, déterminent la conception de la base davantage que la capacité de stockage. Les déclinaisons Chaque envoi produit plusieurs déclinaisons : Des miniatures en plusieurs tailles pour les grilles et les aperçus. Des versions d’affichage adaptées aux téléphones, tablettes et écrans, souvent dans des formats efficaces. Des déclinaisons vidéo à plusieurs débits pour le streaming adaptatif. Des vignettes et aperçus animés pour la vidéo. Les déclinaisons peuvent multiplier plusieurs fois le nombre d’objets. Certains services les génèrent à la demande et les mettent en cache plutôt que de stocker chaque taille en permanence, en arbitrant entre calcul et stockage. Le bon équilibre dépend des profils d’accès : les tailles populaires sont prégénérées, les plus rares sont créées à la demande. La déduplication Les fichiers identiques sont fréquents : la même image transférée dans de nombreuses conversations, le même mème publié par de nombreux utilisateurs ou des sauvegardes répétées du même appareil. Le hachage du contenu permet de stocker une seule copie et de la référencer plusieurs fois. La déduplication doit respecter la confidentialité et la suppression : lorsqu’un utilisateur supprime sa copie, le contenu doit rester disponible pour les autres, et lorsque la dernière référence disparaît, il doit être réellement supprimé. Certains services limitent la déduplication à la bibliothèque de chaque utilisateur pour des raisons de confidentialité. La hiérarchisation selon l’âge et l’accès L’accès aux médias grand public chute fortement avec le temps. Une photo est surtout consultée les premiers jours, occasionnellement ensuite, et rarement des années plus tard. Les services utilisent donc des niveaux : Un niveau chaud pour les envois récents et les contenus populaires, souvent derrière des CDN. Un niveau tiède pour les contenus plus anciens encore consultés de temps en temps. Un niveau froid pour les originaux rarement consultés, sur le stockage le plus dense et le moins coûteux. Déplacer les contenus entre niveaux selon leur âge ou leur fréquence d’accès réduit les coûts tout en gardant tout récupérable dans un délai raisonnable. La diffusion Les CDN mettent en cache les images et segments vidéo populaires au plus près des utilisateurs. Le stockage d’origine sert les défauts de cache et les contenus de la longue traîne. Pour la vidéo, les formats de streaming adaptatif fournissent le bon débit selon le réseau. Le stockage d’origine doit absorber des taux de requêtes élevés pour les petites images comme le débit nécessaire à la vidéo. Confidentialité et réglementation Les médias grand public sont profondément personnels. Les exigences comprennent : La protection des données, comme le RGPD en Europe, avec des droits d’accès et d’effacement. Des engagements de localisation des données sur certains marchés, où utilisateurs ou régulateurs attendent un stockage national. Une suppression effective : lorsque les utilisateurs suppriment des médias ou leur compte, originaux, déclinaisons, copies en cache et sauvegardes doivent disparaître dans des délais définis. Data deletion verification (en anglais) explique comment en apporter la preuve. Le contrôle d’accès et le chiffrement pour protéger les contenus contre tout accès non autorisé, y compris par le personnel. La minimisation des métadonnées, par exemple en supprimant les données de localisation des images partagées lorsque c’est pertinent. La fiabilité Les utilisateurs pardonnent rarement la perte de leurs photos. Protégez-vous contre les pannes de disque, de nœud et de site grâce à l’erasure coding et à la répartition multisite, surveillez la durabilité en continu et protégez-vous contre les bugs logiciels ou les erreurs d’exploitation susceptibles de supprimer des données à grande échelle, par exemple avec une suppression différée ou une corbeille temporaire. La maîtrise des coûts À cette échelle, les petites optimisations comptent : Des formats efficaces pour les versions d’affichage et les déclinaisons vidéo. L’erasure coding plutôt que des répliques complètes. Un matériel dense et économe en énergie. La hiérarchisation des contenus froids vers le stockage le moins coûteux. La déduplication lorsque c’est approprié. Des règles de cycle de vie pour supprimer les déclinaisons orphelines et les fichiers temporaires. Une infrastructure en propre à grande échelle, qui évite les frais par requête et d’egress qui augmentent avec un service grand public très sollicité en lecture. Suivez le coût par gigaoctet stocké et par utilisateur actif, et reliez-les aux décisions produit comme les limites de stockage gratuit et la qualité vidéo. Modération et sécurité des contenus Les plateformes grand public qui permettent le partage doivent détecter et retirer les contenus illégaux et préjudiciables, et de nombreuses juridictions imposent désormais des obligations explicites, comme le règlement européen sur les services numériques (DSA) pour les plateformes en ligne. Les pipelines de modération analysent les envois avec des classificateurs automatiques et la comparaison d’empreintes avec des contenus illégaux connus, transmettent les cas incertains à des modérateurs humains et traitent les signalements des utilisateurs. La conception du stockage doit permettre de mettre rapidement des contenus en quarantaine, de conserver les preuves lorsque la loi l’exige et de retirer les contenus partout, y compris des caches CDN et des déclinaisons, une fois la décision prise. L’accès aux contenus en quarantaine doit être strictement restreint et journalisé. Un exemple de dimensionnement Prenons une application fictive comptant 20 millions d’utilisateurs actifs mensuels, qui envoient en moyenne 30 photos et deux courtes vidéos par mois. Si les photos pèsent en moyenne 3 Mo et les vidéos 40 Mo, les envois mensuels représentent environ 1,8 Po de photos et 1,6 Po de vidéo, soit près de 3,4 Po d’originaux par mois avant déclinaisons. Les versions d’affichage et les déclinaisons vidéo peuvent ajouter encore 30 à 50 %. Sur un an, cela représente plus de 50 Po de nouveaux contenus avant déduplication et hiérarchisation, ce qui explique pourquoi les plateformes de médias grand public sont obsédées par les formats, la déduplication et le coût au gigaoctet. L’apprentissage automatique sur les médias La recherche, les recommandations, les albums automatiques et la modération reposent tous sur des modèles qui analysent les images et les vidéos. Ces pipelines lisent les originaux ou les versions d’affichage et stockent des caractéristiques dérivées. Garder médias et traitements dans le même datacenter ou la même région évite des déplacements de données coûteux et aide à respecter les engagements de confidentialité. Planifier la croissance Le stockage des médias croît avec le nombre d’utilisateurs, le nombre d’envois par utilisateur et la taille des médias, qui ne cesse d’augmenter avec l’amélioration des appareils photo des téléphones et l’essor de la vidéo. Prévoyez ces facteurs séparément. Checklist : stockage des photos et vidéos grand public Envoyez directement vers le stockage objet, par fragments et avec reprise. Stockez les originaux de façon immuable avec des clés d’objets générées. Partitionnez les métadonnées par utilisateur et concevez-les pour les requêtes chronologiques. Décidez quelles déclinaisons prégénérer et lesquelles créer à la demande. Dédupliquez lorsque les règles de confidentialité et de suppression le permettent. Hiérarchisez les contenus selon leur âge et leur accès. Diffusez via des CDN avec un stockage d’origine capable. Mettez en place une suppression vérifiable des originaux, déclinaisons et caches. Protégez la durabilité contre les pannes et les erreurs d’exploitation. Suivez le coût par gigaoctet et par utilisateur actif. En résumé Les applications grand public stockent des milliards de photos et de vidéos en combinant envois directs vers le stockage objet, métadonnées partitionnées, génération intelligente des déclinaisons, déduplication, hiérarchisation et diffusion par CDN. En dessous, un stockage objet scale-out apporte la durabilité, la capacité et l’économie qui rendent les offres gratuites viables. Les mêmes schémas servent réseaux sociaux, messageries et clouds personnels d’opérateurs, avec des obligations de confidentialité, de suppression et de localisation des données intégrées dès le départ. Questions fréquentes Où les applications stockent-elles les photos des utilisateurs ? Généralement dans un stockage objet, avec les métadonnées dans des bases partitionnées et des CDN qui diffusent les contenus populaires. Les applications stockent-elles toutes les tailles d’image ? Pas toujours. Beaucoup prégénèrent les tailles courantes et créent les plus rares à la demande, en mettant le résultat en cache. Comment les applications réduisent-elles le coût du stockage des photos ? Avec des formats efficaces, l’erasure coding, la hiérarchisation, la déduplication, le nettoyage par cycle de vie et, à grande échelle, une infrastructure en propre. Que se passe-t-il lorsqu’un utilisateur supprime une photo ? L’original, ses déclinaisons, les copies en cache et, à terme, les sauvegardes doivent être supprimés dans des délais définis. Pourquoi utiliser le stockage objet pour les médias ? Il gère des milliards d’objets immuables, évolue en scale-out, sert les contenus en HTTP et protège les données efficacement. Pour aller plus loin SaaS file storage (en anglais) Résidence régionale des données pour les SaaS Stockage cloud personnel des opérateurs Synchronisation et partage de fichiers auto-hébergés Video origin server storage (en anglais)
