5 Die Speicherung von Fotos und Videos für Endkunden ist einer der größten Speicher-Workloads im Internet. Social Apps, Messenger, Foto-Backup-Apps, Dating-Apps, Marktplätze und Personal Clouds von Telekommunikationsanbietern speichern zusammen Hunderte Milliarden Bilder und Videos, und jede Stunde kommen Millionen weitere hinzu. Jeder Upload muss dauerhaft gespeichert, in mehrere Größen und Formate verarbeitet, Benutzern weltweit schnell ausgeliefert und jahrelang zu Kosten aufbewahrt werden, die niedrig genug für kostenlose Tarife sind. Die Architekturmuster hinter diesen Diensten sind etabliert und gelten für jede App, die Mediendaten von Benutzern in großem Maßstab speichert. Dieser Artikel erklärt, wie Consumer-Apps Milliarden von Fotos und Videos speichern: Upload-Pfad, Design des Objektspeichers, Metadaten, abgeleitete Varianten, Deduplizierung, Tiering, Auslieferung, Datenschutz und Kostenkontrolle. Den übergreifenden Kontext zur Dateispeicherung bietet unsere Übersicht zum Dateispeicher für SaaS. Der Upload-Pfad Ein typischer Upload-Ablauf: Upload durch den Client: Die App lädt das Foto oder Video über eine vorsignierte URL oder einen Upload-Dienst direkt in den Objektspeicher hoch, oft in Chunks und mit fortsetzbaren Uploads für große Videos und instabile Mobilfunknetze. Validierung: Der Dienst prüft Dateityp, Größe und Integrität und scannt auf schädliche Inhalte. Metadatensatz: Der Dienst legt einen Datenbankeintrag mit Eigentümer, Zeitstempeln, Geräteinformationen und Speicherort an. Verarbeitung: Asynchrone Worker erzeugen Vorschaubilder, skalierte Versionen, transkodierte Videovarianten sowie Merkmale für Suche oder Moderation. Verfügbarkeit: Das Element erscheint in der Bibliothek und in den Feeds des Benutzers, sobald die Verarbeitung abgeschlossen ist. Uploads direkt in den Speicher halten große Medienströme von den Anwendungsservern fern, was Kosten senkt und die Zuverlässigkeit verbessert. Objektspeicher als Fundament Endkunden-Medien passen von Natur aus zu Objektspeicher: Unveränderliche Inhalte: Fotos und Videos werden einmal geschrieben und selten geändert. Riesige Objektzahlen: Milliarden von Originalen und noch viel mehr abgeleitete Varianten. HTTP-native Auslieferung an CDNs und Clients. Scale-out-Wachstum durch Hinzufügen von Knoten. Effizienter Schutz mit Erasure Coding über Knoten und Standorte hinweg. Objektschlüssel sind meist generierte Kennungen statt von Benutzern vergebene Namen. Das verteilt die Last gleichmäßig und vermeidet, dass personenbezogene Informationen in Pfaden sichtbar werden. Metadaten im großen Maßstab Die Metadatenschicht speichert, wem jedes Element gehört, Alben, Freigabeberechtigungen, Bildunterschriften, Orte, Gesichter oder Tags sowie Verweise auf jede gespeicherte Variante. Bei Milliarden von Elementen werden Metadatenspeicher über viele Datenbankknoten verteilt, typischerweise nach Benutzer. Die Zugriffsmuster auf Metadaten, etwa das Laden der Timeline eines Benutzers, bestimmen das Datenbankdesign stärker als die Speicherkapazität. Abgeleitete Varianten Jeder Upload erzeugt mehrere Varianten: Vorschaubilder in mehreren Größen für Raster und Vorschauen. Anzeigeversionen für Smartphones, Tablets und Bildschirme, oft in effizienten Formaten. Videovarianten mit mehreren Bitraten für adaptives Streaming. Poster und animierte Vorschauen für Videos. Varianten können die Objektzahl vervielfachen. Manche Dienste erzeugen Varianten bei Bedarf und speichern sie im Cache, statt jede Größe dauerhaft abzulegen – sie tauschen also Rechenleistung gegen Speicher. Das richtige Verhältnis hängt von den Zugriffsmustern ab: Beliebte Größen werden vorab erzeugt, seltene bei Anforderung. Deduplizierung Identische Dateien sind häufig: dasselbe Bild, das in vielen Chats weitergeleitet wird, dasselbe Meme, das viele Benutzer posten, oder wiederholte Backups desselben Geräts. Mit Content-Hashing speichern Dienste eine Kopie und verweisen mehrfach darauf. Deduplizierung muss Datenschutz und Löschung respektieren: Löscht ein Benutzer seine Kopie, muss der Inhalt für andere erhalten bleiben, und wird der letzte Verweis entfernt, muss er tatsächlich gelöscht werden. Manche Dienste beschränken die Deduplizierung aus Datenschutzgründen auf die eigene Bibliothek eines Benutzers. Tiering nach Alter und Zugriff Der Zugriff auf Endkunden-Medien nimmt mit dem Alter stark ab. Ein Foto wird in den ersten Tagen am häufigsten angesehen, danach gelegentlich und Jahre später kaum noch. Dienste nutzen Ebenen: Hot Tier für aktuelle Uploads und beliebte Inhalte, oft mit vorgeschalteten CDNs. Warm Tier für ältere Inhalte, auf die noch gelegentlich zugegriffen wird. Cold Tier für selten abgerufene Originale, auf dem dichtesten und günstigsten Speicher. Inhalte nach Alter oder Zugriffshäufigkeit zwischen den Ebenen zu verschieben senkt die Kosten und hält dennoch alles in angemessener Zeit abrufbar. Auslieferung CDNs speichern beliebte Bilder und Videosegmente nahe bei den Benutzern zwischen. Der Origin-Speicher bedient Cache-Misses und Long-Tail-Inhalte. Bei Video liefern adaptive Streaming-Formate die passende Bitrate für jedes Netz. Der Origin-Speicher muss sowohl hohe Anfrageraten für kleine Bilder als auch den Durchsatz für Video bewältigen. Datenschutz und Regulierung Endkunden-Medien sind zutiefst persönlich. Zu den Anforderungen gehören: Datenschutzrecht wie die DSGVO in Europa, mit Auskunfts- und Löschrechten. Zusagen zum Speicherort in manchen Märkten, in denen Benutzer oder Aufsichtsbehörden eine inländische Speicherung erwarten. Funktionierende Löschung: Löschen Benutzer Medien oder Konten, müssen Originale, Varianten, Cache-Kopien und Backups innerhalb festgelegter Fristen entfernt werden. Nachweis der Datenlöschung erklärt, wie sich das belegen lässt. Zugriffskontrolle und Verschlüsselung, um Inhalte vor unbefugtem Zugriff zu schützen, auch durch Mitarbeiter. Datensparsamkeit bei Metadaten, etwa das Entfernen von Standortdaten aus geteilten Bildern, wo angemessen. Zuverlässigkeit Verlorene Fotos verzeihen Benutzer selten. Schützen Sie vor Ausfällen von Laufwerken, Knoten und Standorten mit Erasure Coding und Verteilung über mehrere Standorte, überwachen Sie die Langlebigkeit kontinuierlich und schützen Sie vor Softwarefehlern oder Bedienfehlern, die Daten in großem Umfang löschen könnten, etwa mit verzögerter Löschung oder Soft-Delete-Fenstern. Kostenkontrolle In dieser Größenordnung zählen auch kleine Effizienzgewinne: Effiziente Formate für Anzeigevarianten und Videovarianten. Erasure Coding statt vollständiger Replikate. Dichte, energieeffiziente Hardware. Tiering kalter Inhalte auf den günstigsten Speicher. Deduplizierung wo angemessen. Lifecycle-Regeln zum Entfernen verwaister Varianten und temporärer Dateien. Eigene Infrastruktur im großen Maßstab, um Gebühren pro Anfrage und für Egress zu vermeiden, die bei einem leseintensiven Endkundendienst wachsen. Verfolgen Sie die Kosten pro gespeichertem Gigabyte und pro aktivem Benutzer und verknüpfen Sie sie mit Produktentscheidungen wie kostenlosen Speichergrenzen und Videoqualität. Moderation und Sicherheit von Inhalten Endkunden-Plattformen, die das Teilen erlauben, müssen illegale und schädliche Inhalte erkennen und entfernen, und viele Rechtsordnungen legen dazu inzwischen ausdrückliche Pflichten fest, etwa der Digital Services Act der EU für Online-Plattformen. Moderations-Pipelines prüfen Uploads mit automatischen Klassifikatoren und Hash-Abgleich mit bekannten illegalen Inhalten, leiten unklare Fälle an menschliche Prüfer weiter und reagieren auf Meldungen von Benutzern. Das Speicherdesign muss es ermöglichen, Inhalte schnell unter Quarantäne zu stellen, Beweise dort zu sichern, wo das Gesetz es verlangt, und Inhalte nach einer Entscheidung überall zu entfernen, einschließlich CDN-Caches und Varianten. Der Zugriff auf Inhalte in Quarantäne muss streng beschränkt und protokolliert sein. Ein Beispiel zur Dimensionierung Nehmen wir eine App mit 20 Millionen monatlich aktiven Benutzern, die im Schnitt jeweils 30 Fotos und zwei kurze Videos pro Monat hochladen. Bei durchschnittlich 3 MB pro Foto und 40 MB pro Video ergeben sich monatlich etwa 1,8 PB Fotos und 1,6 PB Video, also rund 3,4 PB Originale pro Monat vor Varianten. Anzeigevarianten und Videovarianten können weitere 30 bis 50 Prozent hinzufügen. Über ein Jahr sind das mehr als 50 PB neuer Inhalte vor Deduplizierung und Tiering – deshalb beschäftigen sich Medienplattformen für Endkunden so intensiv mit Formaten, Deduplizierung und Kosten pro Gigabyte. Maschinelles Lernen auf Mediendaten Suche, Empfehlungen, automatische Alben und Moderation beruhen auf Modellen, die Bilder und Videos analysieren. Diese Pipelines lesen Originale oder Anzeigevarianten und speichern abgeleitete Merkmale. Medien und Verarbeitung im selben Rechenzentrum oder in derselben Region zu halten vermeidet teure Datenbewegungen und hilft bei Datenschutzzusagen. Wachstumsplanung Der Medienspeicher wächst mit der Zahl der Benutzer, den Uploads pro Benutzer und der Mediengröße, die mit besseren Smartphone-Kameras und mehr Video weiter steigt. Prognostizieren Sie diese Treiber getrennt. Checkliste: Speicher für Fotos und Videos von Endkunden Direkt in den Objektspeicher hochladen, mit fortsetzbaren Uploads in Chunks. Originale unveränderlich mit generierten Objektschlüsseln speichern. Metadaten nach Benutzer verteilen und für Timeline-Abfragen auslegen. Entscheiden, welche Varianten vorab und welche bei Bedarf erzeugt werden. Deduplizieren, wo Datenschutz- und Löschregeln es erlauben. Inhalte nach Alter und Zugriff auf Ebenen verteilen. Über CDNs mit leistungsfähigem Origin ausliefern. Nachweisbare Löschung über Originale, Varianten und Caches umsetzen. Langlebigkeit gegen Ausfälle und Bedienfehler absichern. Kosten pro Gigabyte und pro aktivem Benutzer verfolgen. Zusammenfassung Consumer-Apps speichern Milliarden von Fotos und Videos, indem sie direkte Uploads in Objektspeicher, verteilte Metadaten, intelligente Variantenerzeugung, Deduplizierung, Tiering und CDN-Auslieferung kombinieren. Darunter liefert Scale-out-Objektspeicher die Langlebigkeit, Kapazität und Wirtschaftlichkeit, die kostenlose Tarife tragfähig machen. Dieselben Muster dienen Social-Plattformen, Messengern und Personal Clouds von Telekommunikationsanbietern gleichermaßen, mit Pflichten zu Datenschutz, Löschung und Speicherort, die von Anfang an eingebaut sind. Häufig gestellte Fragen Wo speichern Apps die Fotos ihrer Benutzer? Typischerweise im Objektspeicher, mit Metadaten in verteilten Datenbanken und CDNs, die beliebte Inhalte ausliefern. Speichern Apps jede Bildgröße? Nicht immer. Viele erzeugen gängige Größen vorab und seltenere bei Bedarf und speichern die Ergebnisse im Cache. Wie senken Apps die Kosten für Fotospeicher? Mit effizienten Formaten, Erasure Coding, Tiering, Deduplizierung, Lifecycle-Bereinigung und im großen Maßstab mit eigener Infrastruktur. Was passiert, wenn ein Benutzer ein Foto löscht? Das Original, seine Varianten, Cache-Kopien und schließlich auch Backups sollten innerhalb festgelegter Fristen entfernt werden. Warum wird Objektspeicher für Medien genutzt? Er bewältigt Milliarden unveränderlicher Objekte, skaliert horizontal, liefert Inhalte über HTTP aus und schützt Daten effizient. Weiterführende Lektüre Dateispeicher für SaaS Regionale Datenresidenz für SaaS Personal-Cloud-Speicher von Telekommunikationsanbietern Selbst gehosteter Speicher für Sync and Share Speicher für Video-Origin-Server
