8 Wenn sich ein paar Ingenieure zu einer spontanen Mittagspause treffen, kann aus kreativem Brainstorming schnell eine bahnbrechende strategische Richtung werden. Bei genau so einem Mittagessen kam uns die Idee: Könnte Scality ein Dateisystem auf Azure-Cloud-Objektspeicher zum Laufen bringen? Schließlich läuft unser Scale-Out File System (SOFS) technisch bereits auf Objektspeicher, und wir dachten, dass eine Portierung auf eine andere Objektspeicherplattform möglich sein sollte. Wir wussten auch, dass Bedarf besteht. Kunden wenden sich an uns, weil sie hohe Leistung mit kostengünstigen Lösungen in der Cloud suchen. Also machten sich die Ingenieure von Scality an die Arbeit und setzten diese Idee gemeinsam mit Microsoft um. Die Herausforderung: ein leistungsstarkes Cloud-Dateisystem auf Abruf auf kostengünstigem Cloud-Objektspeicher Die Herausforderung hatte einen interessanten „Klang“ (Wortspiel mit „RING“ beabsichtigt): Scality SOFS ist ein 10 Jahre altes, POSIX-kompatibles Dateisystem. Kunden von Scality setzen SOFS seit Jahren produktiv ein – für Workloads mit hohem Durchsatz und mehreren Petabyte an Daten. Scality SOFS in Azure würde eine zusätzliche Skalierungsebene bieten: keine Abhängigkeit mehr von Hardware für Speicherkapazität, keine Investitionskosten und alle weiteren Vorteile von Cloud-Speicher. Dazu kommt der Vorteil, „Bestandsanwendungen“ mit Zugriff über das Dateiprotokoll SMB zu unterstützen. Herausforderung angenommen und gemeistert: Heute freue ich mich, die Technical Preview von Scality und die ersten Leistungsergebnisse für SOFS in der Azure Cloud vorzustellen. Mit dem kostengünstigen Objektspeicher Azure Blob bietet SOFS Skalierung auf Abruf und liefert bei ausreichenden Ressourcen unbegrenzte Leistung und Kapazität. Zur Einordnung: Wie sind wir hierhergekommen? Bevor ich tiefer einsteige, ein kurzer Blick zurück. Ab Anfang der 90er-Jahre wurden Unternehmensdateisysteme und Geräte für Network Attached Storage (NAS) zu einer gängigen Lösung für Probleme der Datenspeicherung. Sie boten im Vergleich zum früheren Blockspeichermodell eine einfachere Möglichkeit, Daten als Dateien zu verwalten. Diese Lösungen ermöglichten auch die gemeinsame Nutzung von Dateien durch Benutzergruppen und führten Standardprotokolle für Netzwerk-Dateispeicher in die Unternehmens-IT ein, etwa NFS (auf Englisch) und SMB (auf Englisch). Diese Protokolle sind bis heute im Einsatz und ein weiterer Grund für die Beliebtheit von Netzwerk-Dateispeicher und NAS-Lösungen. Mit dem Internetboom Anfang der 2000er-Jahre stießen Benutzer auf echte Grenzen bestehender Dateisysteme und NAS-Technologien. Neue Anwendungsfälle im „Internet- und Cloud-Maßstab“ entstanden, sodass Speicher nun Millionen bis Milliarden von Dateien und Petabytes an Daten bewältigen musste. Wir mussten jedoch darauf achten, wie viele Dateien wir speicherten, denn letztlich gab es Grenzen bei Kapazität und Leistung pro Dateisystem und pro Verzeichnis. Das ging weit über die Fähigkeiten der damaligen Dateisystemgeneration hinaus und löste eine ganz neue Generation von Scale-out-Dateisystemen aus. Diese neueren Scale-out-Lösungen versprachen ein Wachstum auf deutlich höhere Kapazitäts- und Leistungsniveaus, sodass eine einzige Implementierung die Aufgabe mehrerer herkömmlicher, nicht skalierbarer Geräte übernehmen konnte. Heutige Scale-out-Cloud-Dateisysteme sind leicht verfügbar, aber teuer. Spulen wir vor: Heute gibt es eine Vielzahl von Scale-out-Dateisystemen verschiedener Anbieter, darunter zahlreiche Cloud-Dateisysteme der großen Cloud-Anbieter selbst (AWS, Azure, Google) und von Drittanbietern. Zu den heutigen Angeboten gehören AWS Elastic File System (EFS), Azure Files, Google Filestore und viele mehr. Gemeinsam ist diesen Dateisystemen, dass sie für eine hohe Dateisystemleistung auf hochwertige (Premium-) und teure Speicherklassen als Persistenzschicht angewiesen sind. Davon gibt es drei Varianten: Instanzspeicher in Cloud-VMs (meist der teuerste Ansatz) Blockspeicherdienste (wie AWS EBS oder Azure Disk Storage) Anbieterspezifische Hardware-Appliances (wie NetApp Cloud Volumes Service für Google oder NetApp Azure Files, im Grunde eine NAS-Filer-Appliance, die vom Cloud-Service-Provider verwaltet wird) 1 Terabit pro Sekunde Durchsatz mit Scality RING auf Azure Blob Um den Traum von Scality auf Azure zu verwirklichen, haben wir unsere bei Kunden bewährte SOFS-Codebasis (sie ist seit einem Jahrzehnt in vielen Unternehmensimplementierungen mit mehreren Petabyte im Einsatz) in die Azure Cloud portiert. Scality SOFS nutzt Azure Blob als Datenspeicherschicht und Azure Cosmos DB für seine Metadaten. Dann führten wir folgenden Leistungstest durch: SOFS wurde auf universellen Azure-VM-Instanzen vom Typ D8S v3 mit jeweils 8 vCPUs und 32 GiB RAM bereitgestellt und speicherte und las Daten im Azure Blob Hot Access Tier (auf Englisch). Diese Speicherebene ist für aktive Daten optimiert, auf die zugegriffen wird oder voraussichtlich zugegriffen wird und die verarbeitet werden. Die SOFS-VMs sind vollständig zustandslos, und wir nutzen Azure Blob für die dauerhafte Datenspeicherung. Anschließend führten wir eine Reihe von Tests zur aggregierten sequenziellen I/O-Geschwindigkeit (Durchsatz) mit einem branchenüblichen Tool namens IOR (auf Englisch) durch und griffen dabei über das Dateiprotokoll SMB auf SOFS zu. Die Ergebnisse auf dem Azure Blob Hot Access Tier waren beeindruckend. Zunächst erreichte eine einzelne VM bis zu 450 MB/s über SMB – an sich schon sehr schnell, doch wichtiger noch: Wir untersuchten die Auswirkungen der horizontalen Skalierung über weitere SOFS-VMs und Clients. Auf diese Weise erreichte SOFS einen Durchsatz von 650 Gbit/s in einem einzigen SMB-Dateisystem-Namespace. Danach führten wir einen zweiten Test mit Premium-Flash-Speicher in Azure durch. Hier erreichte SOFS über 1 Tbit/s SMB-Durchsatz – eine wirklich enorme Leistung, die normalerweise nur spezialisierte HPC-Dateisysteme auf teurem Direct Attached Storage erreichen. Diese Leistung reicht aus für das Speichern oder Lesen von Hunderten hochauflösender Filme gleichzeitig pro Sekunde! In unserer Pressemitteilung war zwar von 50 hochauflösenden Filmen pro Sekunde die Rede, doch unsere Berechnungen zeigen tatsächlich einen viel höheren Durchsatz, als unsere vorsichtigen Ingenieure der Presse gegenüber nennen wollten. Wir versprechen lieber weniger und liefern mehr! Die Stärke liegt darin, dass SOFS durch die lineare Skalierung von Cloud-VMs jedes Leistungsniveau erreichen kann. Damit lassen sich Anwendungsfälle in der Energieforschung, in Medien & Entertainment, bei Big-Data-Analysen, KI/ML und mehr lösen. Bis zu 10-mal niedrigere Kosten bei gleicher Leistung SOFS in Azure nutzt kostengünstige VMs – wir beginnen also mit einem effizienten Cloud-Bereitstellungsmodell, das bis zu 10-mal günstiger sein kann als konkurrierende Lösungen. Zudem können wir diese Instanzen herunterfahren, wenn sie nicht benötigt werden – sie sind zustandslos, die Daten bleiben in Azure Blob. Ein Beispiel: SOFS eine Woche lang in Azure mit 100 TB Kapazität und 4,5 Gigabyte pro Sekunde Durchsatz zu betreiben, würde weniger als 1.200 $ an Azure-Cloud-Ressourcen kosten. Das ist eine wirklich magische Kombination aus Zugriff auf Abruf und Scale-out-Leistung auf sehr erschwinglichem Cloud-Objektspeicher. Wenn Sie an der Technical Preview von Scality SOFS auf Azure teilnehmen möchten: Es sind noch einige Plätze frei. Wenden Sie sich an unseren VP of Strategic Alliances, Wally MacDermid, um weitere Details zu erhalten. Weitere Informationen: IDC Spotlight: The Value of an On-Demand, Scale-Out File System on Low-Cost Cloud Storage Unsere Pressemitteilung mit Microsoft lesen.
