1 Die (rotierende) Festplatte ist ein hervorragendes Ziel für Unternehmenssoftware im Cloud-Maßstab. Sie ermöglicht es Unternehmen, riesige Datenmengen zu Kosten nahe denen von Bandspeicher zu speichern. Und sie kann on-premises eine Resilienz von bis zu 14 Neunen Datenbeständigkeit bieten. Doch rotierende Festplatten sind nicht ausfallsicher. Manchmal gibt es Probleme im Herstellungsprozess oder Serienausfälle. Genau dann braucht man ein Speichersystem, das einem Unternehmen hilft, sich wirksam – und schnell – von solchen Ausfällen zu erholen. Und genau dann möchte man mit einem Lösungsanbieter zusammenarbeiten, der einen durch diesen Prozess begleitet. Lesen Sie, in welche beängstigende Situation einer unserer Kunden kürzlich geriet – und wie wir dafür gesorgt haben, dass alles reibungslos weiterlief. Das ist das Versprechen von Scality: Wir liefern nicht nur ein Produkt, sondern sind ein echter Partner für die Organisationen, mit denen wir arbeiten! Das Szenario: Eine Festplatte fällt aus Eine Behörde in der APAC-Region betrieb ein RING mit sechs Servern und 8-TB-HDDs (56 × 8-TB-HDDs pro Server). Sie nutzt die native S3-Funktion von RING als Ziel für ihre unternehmensweiten Backups. Alles lief reibungslos, bis eine der 8-TB-Festplatten ausfiel. Die Behörde wandte sich an die Customer Success Engineers (CSEs) von Scality. Die gute Nachricht: Mit Scality ist der Ausfall einer einzelnen Festplatte kein großes Problem. Das Scality RING der Behörde ist durch ein Erasure-Coding-Schema 8,4 geschützt, das entweder den Ausfall von zwei kompletten Servern (von sechs) oder von vier beliebigen Festplatten irgendwo im Cluster ohne Datenverlust verkraftet. Der Rebuild-Prozess von RING Bei einem normalen Festplattenausfall übernimmt der interne Rebuild-Mechanismus von RING und stellt die auf der ausgefallenen Festplatte gespeicherten Daten auf den übrigen Festplatten des Servers wieder her. Dieser Rebuild-Prozess in RING hat zwei wesentliche Vorteile: Er stellt nur die tatsächlich geschriebenen Daten wieder her – nicht die gesamte Festplatte –, sodass keine Zyklen für den Wiederaufbau leeren Speicherplatzes verschwendet werden. Er hat keine Engpässe durch dedizierte Paritätslaufwerke, die bei Rebuilds stark belastet würden, da er die Daten auf alle verbleibenden Laufwerke des Servers verteilt. In diesem konkreten Fall schrieb die Anwendung des Kunden relativ kleine Objekte – das durchschnittliche an RING gesendete Objekt war etwa 300 KB groß. Nach der Aufteilung in acht Teile (für das EC-Schema 8,4) betrug die durchschnittliche auf die Festplatte geschriebene Objektgröße 37,5 KB. Selbst bei 80 % Füllstand würde eine 8-TB-Festplatte über 170 Millionen Objekte enthalten, die alle einzeln wiederhergestellt werden müssten. Das dauert verständlicherweise eine Weile, wäre aber letztlich kein Problem. Ein erneuter Ausfall Doch zwei Tage später fiel auf einem anderen Server eine zweite 8-TB-Festplatte aus. Die erste ausgefallene Festplatte war fast vollständig wiederhergestellt, daher war der zweite Ausfall noch kein großes Problem – noch nicht. Angesichts der zwei Ausfälle kurz hintereinander – und im Wissen um das Muster von Serienausfällen – war das IT-Team des Kunden jedoch besorgt und prüfte die übrigen Festplatten auf mögliche weitere Ausfälle. Auch hier half RING, indem es die nächsten Ausfälle anhand unregelmäßiger Antwortzeiten und verzögerter Schreibbestätigungen zuverlässig vorhersagte. Als die dritte Festplatte ausfiel, war sich unser CSE-Team ziemlich sicher, dass wir es mit dem gefürchteten Serienausfall zu tun hatten. Die Festplatten waren nicht alt (sie waren etwa zweieinhalb Jahre im Einsatz) und nicht übermäßig durch Schreib- und Löschvorgänge oder gelegentliche Lesezugriffe belastet. Die einzige Frage war: Wie groß wird diese Serie ausgefallener Festplatten sein? Die Antwort? Viel größer, wie wir bald feststellen sollten. Einen Serienausfall überstehen: Erholung von 10 ausgefallenen Festplatten in nur drei Wochen! Nach den ersten beiden Ausfällen fielen beim Kunden acht weitere Festplatten nacheinander aus. Insgesamt also 10 Festplattenausfälle in drei Wochen! Die Implementierung des Kunden konnte vier gleichzeitige Festplattenausfälle an beliebiger Stelle im RING verkraften – aber nicht fünf, sechs … und erst recht nicht zehn! Als sich die Ausfälle häuften, wusste unser Engineering-Team, dass es tiefer graben musste, um gegenzusteuern. Scality RING bietet unseren Engineers die Möglichkeit, alle geschriebenen Objekte zu scannen und dann die Gesamtdatenmenge sowie die Zahl der Paritätsblöcke zu ermitteln, die für jedes Objekt aktuell noch im RING vorhanden sind. Unsere CSEs werteten diese Ausgabe bei jedem neuen Festplattenausfall aus, prüften die am stärksten gefährdeten Objekte und änderten die Rebuild-Reihenfolge, sodass diese Objekte vorrangig wiederhergestellt wurden. Einige Rebuild-Aufgaben wurden manuell angestoßen, damit Objekte mit dem geringsten Paritäts-Overhead mit Priorität wiederhergestellt wurden. Diese Anpassung der Rebuild-Reihenfolge, die Objekte mit den wenigsten verbleibenden Paritätsbits priorisierte, war für den Kunden von entscheidender Bedeutung. Das Ergebnis: kein Datenverlust Es war mitunter ein mühsamer, manueller Prozess, aber wir haben das wichtigste Ziel erreicht – Datenverlust wurde verhindert. Und wenn man bedenkt, welche enormen Mengen wertvoller Daten jede Einrichtung im öffentlichen Sektor – geschweige denn jede Organisation – heute speichert, ist das eine bedeutende Leistung. Unter normalen Umständen reicht der automatisierte Rebuild-Prozess aus, um RING wieder in den Nennzustand (fehlerfrei) zu versetzen. Bei mehreren gleichzeitigen Festplattenausfällen waren jedoch manuelle Eingriffe nötig, um auf sich rasch ändernde Umstände zu reagieren – manchmal mehrmals am Tag! Trotz eines Serienausfalls von 10 Festplatten gingen keine Daten verloren. Wir haben es überstanden. Das war nicht nur ein echter Praxistest für die Fähigkeiten von RING, sondern auch ein Beleg für die harte Arbeit und das Engagement unseres Support-Teams. Bei Scality ist der Schutz Ihrer Daten unsere Mission – und wir sind der Aufgabe gewachsen, selbst wenn mehrere Festplatten ausfallen. Carpe datum!
