7 Von Gregoire Doumergue (auf Englisch), Global Support Engineer, Scality Die Datenflut reißt nicht ab und kommt schneller denn je. Ob Backups, Überwachungsstreams, Videos, E-Mails, Dateien, Genomikdaten oder mehr – der Großteil dieser Daten ist unstrukturiert. Objektspeichersysteme (auf Englisch) sind für diese Art von Daten im Petabyte-Maßstab ausgelegt. Da AWS zum führenden Anbieter im Public Cloud Computing geworden ist, hat sich AWS S3 (Simple Storage Service) zum größten und beliebtesten Dienst dieser Art entwickelt. Scality bietet denselben S3-kompatiblen Speicher (auf Englisch), um über eine S3-konforme Schnittstelle auf die gespeicherten Daten zuzugreifen und sie zu verwalten. Sehen wir uns drei Funktionen des S3-kompatiblen Speichers von Scality an. Bucket-Versionierung vereinfacht Aufbewahrung, Abruf und Wiederherstellung Die Bucket-Versionierung ist eine zentrale Funktion von S3. Scality hat sie zu 100 % kompatibel mit den AWS-Spezifikationen implementiert. Ist ein Bucket versioniert, kann ein einzelnes S3-Objekt mehrere Payloads haben, und jede Payload wird durch eine Versions-ID identifiziert. Diese Version wird vom S3-Cluster als Ergebnis eines erfolgreichen Uploads vergeben. Im Kern ist die Bucket-Versionierung eine Möglichkeit, mehrere Varianten eines Objekts im selben Bucket vorzuhalten. Diese Funktion ist nützlich, um jede Version jedes in Ihren Buckets gespeicherten Objekts aufzubewahren, abzurufen und wiederherzustellen. Die Versionierung hilft Ihnen, sich leichter von Anwendungsfehlern und unbeabsichtigten Benutzeraktionen zu erholen. Bei Löschvorgängen werden Objekte in einem versionierten Bucket nicht gelöscht, sondern hinter einer speziellen Version namens DeleteMarker verborgen. Dieser Mechanismus verhindert versehentliches Löschen von Daten. Um eine Payload tatsächlich zu löschen, muss die ID der Objektversion angegeben werden. Wenn Sie einen versionierten Bucket leeren müssen, kann der technische Service von Scality ein Python3-Skript bereitstellen, das die Python-Bibliothek boto3 nutzt. So führen Sie es aus: $ ./bucket_clean.py –endpoint https://node –bucket buckettobedeletedare you sure? (y/N): y Weitere Informationen finden Sie in unserem Blogbeitrag über das Auffinden von Daten in bestehenden Buckets (auf Englisch). Object Lock ist der Schlüssel zu WORM S3 Object Lock ist die S3-Funktion für Write Once Read Many (WORM). Wie bei der Bucket-Versionierung hat Scality sie zu 100 % kompatibel mit den AWS-Spezifikationen implementiert. Mit der AWS-API lassen sich Objekte nach dem WORM-Modell speichern. So können Sie verhindern, dass ein Objekt für einen festgelegten Zeitraum oder unbegrenzt gelöscht oder überschrieben wird. Object Lock hilft, Vorschriften zu erfüllen, die WORM-Speicher verlangen, oder bietet einfach eine zusätzliche Schutzebene gegen Änderungen und Löschungen von Objekten. Object Lock hat einige Voraussetzungen. Erstens müssen Sie das Object-Lock-Flag beim Erstellen eines Buckets setzen, und für diesen Bucket muss die Versionierung aktiviert sein. Zudem muss Object Lock für einen Bucket aktiviert sein, damit sich über die API PUT Object Lock Configuration eine Sperrkonfiguration mit gesetztem Object-Lock-Flag schreiben lässt. S3 bietet mehrere Möglichkeiten, die Sperrkonfiguration eines Objekts festzulegen. Aufbewahrungsmodi, darunter der Governance- und der Compliance-Modus, halten die Sperre eines Objekts aufrecht, bis ein festgelegter Zeitraum abläuft. Im Governance-Modus können Sie bestimmten Benutzern die Berechtigung erteilen, die Sperreinstellungen außer Kraft zu setzen. Nur das Root-Konto oder ein Benutzer mit der Berechtigung s3:BypassGovernanceRetention kann eine Löschanfrage mit dem Header x-amz-bypass-governance-retention:true senden, um das Objekt dennoch zu löschen. Das kann nützlich sein, um eine Backup-Datei vor einem Ransomware-Angriff oder versehentlichem Löschen zu schützen. Der Governance-Modus wird auch genutzt, um Einstellungen für Aufbewahrungsfristen zu testen, bevor eine Aufbewahrungsfrist im Compliance-Modus angelegt wird. Wenn Sie ein Objekt im Compliance-Modus sperren, kann die Objektversion von keinem Benutzer gelöscht werden, bis die Aufbewahrungsfrist abläuft. Das gilt auch für den Root-Benutzer (Kontozugangsdaten) des Kontos; keinem anderen Benutzer kann die Berechtigung erteilt werden, die Einstellungen außer Kraft zu setzen oder die Version zu löschen. Speichernutzung mit UTAPI einfacher verfolgen UTAPI, kurz für Utilization API, wurde ursprünglich als Messanwendung entwickelt, mit der Scality-Kunden ihre Speichernutzung verfolgen können. Eine eigene API wurde entwickelt, weil vergleichbare Dienste bei AWS damals nicht über alle Funktionen verfügten, die die Anforderungen erfüllten. Version 1 hatte gewisse Einschränkungen und Probleme. Die Anforderungen änderten sich; das ursprüngliche Design war auf die Verwaltung von Buckets im Bereich von Tausenden ausgelegt. Skalierungsprobleme traten auf, als Hunderttausende Buckets zufällig erstellt und gelöscht wurden. Die von UTAPI genutzte Key-Value-Datenbank (Redis) verursachte bei intensiver Nutzung eine hohe CPU- und RAM-Auslastung. Zudem wurden aus folgenden Gründen falsche Metriken von den Cloudserver-APIs an Redis übermittelt: Sonderfälle der API-Nutzung wie das Überschreiben von Objekten, Buckets, die mit unvollständigen Multipart-Upload-Objekten gelöscht wurden, und Ähnliches.Fehler im Reindexer, die selbst nach der Neuindizierung zu falschen Metriken führten. Das ist am V2-Design anders: Redis entfällt, und stattdessen kommt Warp10 zum Einsatz, eine Zeitreihendatenbank (TSDB) zur dauerhaften Speicherung von Metriken. Das Zeitreihenformat von Warp10 speichert Daten effizient sowohl auf der Festplatte als auch für den Abruf. Schließlich löst es die Skalierungsprobleme von v1, bei denen Hunderttausende Buckets auf der Plattform erstellt und gelöscht wurden. Idealer Objektspeicher Dies ist ein kurzer Überblick über drei zentrale Funktionen des S3 Connector von Scality. Wir bieten den S3 Connector für RING als ideale Lösung für Unternehmen an, die ein On-Premises-Bereitstellungsmodell benötigen, um die Kontrolle über sensible Daten zu behalten, die Leistung zu optimieren oder aus Gründen der Sicherheit oder Compliance. Scality verbessert die RING Supervisor UI kontinuierlich, um einen einfacheren Zugriff auf diese S3-Bucket-Funktionen zu bieten. Weitere Details finden Sie in diesem informativen Beitrag, der der Frage nachgeht: „Was ist S3-kompatibler Speicher?“ (auf Englisch)
