8 Elasticsearch ist eine Suchmaschine, die eine verteilte Volltextsuche mit HTTP-Weboberfläche bietet. Unternehmen, darunter viele Scality-Kunden, nutzen Elasticsearch, um nahezu jede Art von Dokument oder Information in ihrer Organisation schnell zu finden. Bei ständig wachsenden Datenmengen, die indiziert, durchsucht und aufbewahrt werden müssen, sind die hohen Kosten des SAN-Speichers, den das Unternehmen als primäre Speicherebene nutzt, eine mögliche Herausforderung für Elasticsearch-Kunden. Die gute Nachricht: Elasticsearch umfasst Searchable Snapshots (auf Englisch). Damit lassen sich Snapshots von Indizes oder sogar ganzen Clustern erstellen und auf Amazon-S3-kompatiblem Objektspeicher (auf Englisch) speichern, etwa auf Scalitys branchenführenden Lösungen RING (auf Englisch) und ARTESCA. Scality bietet eine kostengünstigere und skalierbarere Speicherlösung als SAN-Systeme. Zudem können Kunden weiterhin die Leistungsfähigkeit von Elasticsearch nutzen und gleichzeitig die Datenbeständigkeit erhöhen und die Gesamtbetriebskosten (TCO) senken. Mit den Searchable Snapshots (auf Englisch) von Elasticsearch können Kunden alle ihre inaktiven Daten auf Scality speichern. Das entlastet den teureren SAN-Speicher, den Elasticsearch nutzt. Mit Skalierung im Petabyte-Bereich und einer Datenbeständigkeit von bis zu elf Neunen schützt Scality nicht nur Ihre wertvollen Elasticsearch-Daten, sondern ermöglicht auch, diese Daten weiterhin zu durchsuchen, ohne sie zurück auf das SAN verschieben zu müssen. So konfigurieren Sie Elasticsearch und Scality RING In diesem Abschnitt gehen wir die einfachen Schritte durch, mit denen Sie Scality als Repository für Disaster Recovery (DR) oder Searchable Snapshots konfigurieren. Zur Veranschaulichung haben wir die Elasticsearch (auf Englisch)Cloud-Konsole (auf Englisch) verwendet; die Schritte sind jedoch identisch, wenn Sie Elasticsearch auf Amazon Web Services, Microsoft Azure, Google Cloud oder on-premises betreiben. Statt alle Daten in der Public Cloud zu speichern, haben wir uns entschieden, unsere Snapshots und Searchable Snapshots in einer On-Premises-Installation von Scality RING vorzuhalten. Die Konfiguration von Scality ARTESCA ist identisch. Datenaufnahme Wir haben Daten mit Filebeat (auf Englisch) hinzugefügt und die Aufnahme von Apache-Logs eines Webservers simuliert. Statt echten Web-Traffic auf dem Server zu erzeugen, haben wir gogen (auf Englisch) verwendet, das wie folgt in einem Crontab-Job konfiguriert ist: Die Logs werden mit Filebeat an den Elasticsearch-Cluster gesendet. Die Installationsanleitung für Filebeat finden Sie in der Elasticsearch-Oberfläche: Sobald die Logs in den Elasticsearch-Cluster geladen werden, zeigt Elasticsearch „Data successfully received from this module.“ an. Scality als Snapshot-Repository konfigurieren Um Searchable Snapshots einzurichten, müssen Sie zunächst einen Bucket in Scality erstellen, etwa mit dem S3 Browser. Die optionale Bucket-Verschlüsselung können Sie aktivieren, wenn eine Verschlüsselung ruhender Daten erforderlich ist. Danach können Sie den Bucket über die Kibana-Oberfläche unter „Dev Tools“ im Elasticsearch-Cluster registrieren und folgende PUT-Anfrage erstellen: Das neu erstellte „scality_s3_repository“ steht nun zum Speichern von Cluster-Snapshots (für DR-Zwecke) oder Searchable Snapshots (in den Cold- oder Frozen-Tiers) zur Verfügung. Snapshots für DR-Zwecke erstellen DR-Snapshots dienen dazu, bei einem schweren Ausfall alle Daten eines Elasticsearch-Clusters wiederherzustellen. Ein S3-Ziel ist eine einfache Möglichkeit, diese Backup-Daten in ein langlebiges Repository auszulagern und sicherzustellen, dass sie bei Bedarf verfügbar sind. Einen Snapshot erstellen Im Bereich „Snapshot & Restore“ können Sie einfach eine neue Snapshot-Richtlinie erstellen; achten Sie darauf, „scality_s3_repository“ auszuwählen. Die Snapshots werden dann aufgelistet, sobald sie erstellt sind. Snapshots wiederherstellen Die Snapshots sind selbstbeschreibend, sodass Sie sie jederzeit auf einem frischen Elasticsearch-Cluster wiederherstellen können, falls Ihr Haupt-Cluster verloren geht. Dazu registrieren Sie zunächst wie oben beschrieben das S3-Repository und folgen dann den Schritten im Bereich „Snapshots and Restore“. Nach Abschluss der Wiederherstellung können Sie Ihre Daten wieder durchsuchen. Snapshots für Cold- und Frozen-Tiers nutzen Sobald das Snapshot-Repository konfiguriert ist, lassen sich Searchable Snapshots im Cold- oder Frozen-Tier einfach aktivieren, indem Sie eine Index-Lifecycle-Management-Richtlinie (ILM) konfigurieren, die Daten von einem Tier in ein anderes verschiebt. In diesem Beispiel nutzen wir das Konfigurationsfenster für ILM-Richtlinien, um Scality als Frozen-Tier zu aktivieren. Im Frozen-Tier gespeicherte Logs bleiben durchsuchbar und werden transparent über die Elasticsearch-Oberfläche oder die APIs abgerufen. Fazit Wie die meisten Big-Data-Anwendungen wurde Elasticsearch in Objektspeicher integriert, damit Kunden die ständig wachsende Datenmenge, die nicht mehr nur auf teurem Tier-1-Speicher abgelegt werden kann, effektiv verwalten können. Mit Elasticsearch und Scality profitieren Benutzer von folgenden Vorteilen: Optimierung der Elasticsearch-Infrastruktur, da sie nur noch Hot Data verwalten muss – das senkt Kosten und Komplexität Speicherung selten genutzter Daten auf hoch skalierbarem, äußerst langlebigem und kosteneffizientem Speicher Schnelle Suche in Cold Data oder archivierten Daten, unabhängig von deren Alter
