7 Neoclouds stehen und fallen mit ihrem Speicher: Er ist der Teil einer KI-Cloud, der still darüber entscheidet, ob sich der teure Teil – die GPUs – rechnet. Eine Neocloud vermietet GPU-Kapazität für Training und Inferenz, und ihr gesamtes Geschäftsmodell beruht darauf, diese GPUs ausgelastet zu halten. Die unbequeme Wahrheit: Untätige GPUs sind meist ein Speicherproblem, kein Rechenproblem – die Chips warten auf Daten, die nicht schnell genug ankommen. Damit ist die Speicherebene eine zentrale Designentscheidung für alle, die eine GPU-Cloud aufbauen oder beliefern, und kein Punkt, den man abhakt, nachdem die Rechenleistung ausgewählt ist. Dieser Beitrag erklärt, warum der Speicher die Auslastung bestimmt und welche Eigenschaften der Speicher einer Neocloud tatsächlich braucht. Falls die Kategorie der Neoclouds für Sie neu ist, finden Sie die Hintergründe im Beitrag Was ist eine Neocloud. Dieser Beitrag setzt diesen Kontext voraus und widmet sich direkt dem Speicher. Warum der Speicher über die GPU-Auslastung entscheidet Eine moderne GPU kann Trainingsdaten außerordentlich schnell verarbeiten – sie ist also nur so produktiv wie die Pipeline, die sie versorgt. Wenn viele GPUs parallel trainieren, verlangen sie gemeinsam einen enormen, dauerhaften Lesedurchsatz, und jeder Teil des Pfads, der nicht mithalten kann, lässt Silizium untätig. Da Beschleuniger der aktuellen Generation (Stand 2026 NVIDIA H100 und H200 sowie die neueren B200 und GB200) hohe Investitions- und Mietkosten verursachen, ist schon eine Leerlaufzeit von wenigen Prozentpunkten über einen ganzen Cluster hinweg teuer. Daraus ergibt sich eine einfache Designregel für Neoclouds: Dimensionieren Sie den Speicher für den Durchsatz, der die Rechenleistung ausgelastet hält, und nicht nur für die Kapazität, die die Daten aufnimmt. Deshalb ist das Speichergespräch für KI-Clouds in Wahrheit ein Gespräch über Durchsatz. Die Abwägungen zwischen Kapazität, Bandbreite und Parallelität erläutert der Beitrag Durchsatz von Objektspeicher. Wo der Speicher in den KI-Cloud-Stack passt Eine Neocloud baut ihren Speicher in der Regel in Ebenen auf. Eine haltbare, skalierbare Ebene hält die Rohdatensätze, die aufbereiteten Trainingsdaten sowie die Modell-Checkpoints und -Artefakte – oft auf Basis von Objektspeicher, weil er auf Petabytes skaliert und eine Standardschnittstelle bietet. Davor stellt eine schnellere Ebene (ein paralleles Dateisystem oder ein Flash-Cache) die Daten bereit, die die GPUs gerade lesen, damit die haltbare Ebene nicht jeden zufälligen Zugriff mit voller Geschwindigkeit bedienen muss. Die Kunst besteht darin, Daten so zwischen diesen Ebenen zu bewegen, dass die schnelle Ebene stets mit dem gefüllt ist, was die GPUs als Nächstes brauchen, während die haltbare Ebene das System of Record bleibt. Die übergreifende Architektur dazu beschreibt der Überblick über die Architektur von KI-Cloud-Infrastruktur und, aus Sicht des Rechenzentrums, der Beitrag Was ist ein KI-Rechenzentrum. Die Speichereigenschaften, die eine KI-Cloud braucht Eine Handvoll Eigenschaften unterscheidet Speicher, der GPUs versorgt, von Speicher, der sie aushungert. Gesamtdurchsatz. Das System muss über den gesamten Cluster hinweg eine sehr hohe Lesebandbreite aufrechterhalten, nicht nur in einem Single-Stream-Benchmark. Entscheidend ist, was die Fabric insgesamt liefern kann, wenn Tausende GPUs gleichzeitig lesen. Paralleler Zugriff. Verteiltes Training liest Daten von vielen Workern gleichzeitig, daher muss der Speicher massive Parallelität ohne zentralen Engpass bedienen. Objektspeicher und parallele Dateisysteme sind genau für diese Auffächerung konzipiert. Skalierung. Trainingskorpora und Checkpoint-Historien umfassen viele Petabyte, daher muss die haltbare Ebene horizontal skalieren, ohne bei wachsenden Datensätzen eine Neuarchitektur zu erzwingen. Haltbarkeit. Datensätze und trainierte Modelle sind wertvolles geistiges Eigentum, daher braucht die haltbare Ebene starken Schutz (Erasure Coding, Multi-Site-Optionen) und Resilienz gegen Ausfälle und Ransomware. Die Objektspeicher-Grundlage für KI-Daten behandelt der Beitrag S3-Speicher für KI-Workloads. Der Datenpfad: GPUs direkt versorgen Neben der reinen Bandbreite zählt auch der Weg, den die Daten in den GPU-Speicher nehmen. Traditionell laufen aus dem Speicher gelesene Daten durch einen CPU-Bounce-Buffer im Arbeitsspeicher, bevor sie die GPU erreichen. Das erhöht die Latenz und verbraucht CPU-Zyklen, die anderweitig genutzt werden könnten. NVIDIA Magnum IO GPUDirect Storage löst das, indem es einen direkten Speicherzugriffspfad zwischen Speicher und GPU-Speicher schafft, sodass die Daten den CPU-Bounce-Buffer überspringen. Bei datenhungrigem Training senkt das die Latenz und entlastet die CPU, was hilft, die Pipeline gefüllt zu halten. Die Mechanik und wann der direkte Pfad hilft, erklärt der Beitrag GPU Direct Storage. Checkpoints und die Schreibseite Lesevorgänge bekommen die meiste Aufmerksamkeit, doch die Schreibseite kann einen Trainingslauf ebenso leicht ausbremsen. Lange Trainingsjobs speichern regelmäßig Checkpoints – Momentaufnahmen des Modellzustands, mit denen sich nach einem Ausfall fortfahren und der Fortschritt bewerten lässt. Checkpoints sind groß und kommen stoßweise: Ein großes Modell kann in kurzer Zeit enorme Zustandsmengen schreiben, und währenddessen warten die GPUs womöglich untätig darauf, dass der Schreibvorgang abgeschlossen ist. Speicher, der diese Schreibspitzen nicht auffangen kann, macht das Checkpointing zu einer Steuer auf die Auslastung. Die übliche Antwort: Checkpoints schnell auf eine schnelle Ebene schreiben und sie dann im Hintergrund auf die haltbare Objektebene abfließen lassen, damit die Trainingsschleife so schnell wie möglich weiterläuft. Die Gestaltung dieses Schreibpfads ist ebenso wichtig wie die des Lesepfads. Mandantenfähigkeit und Kosten in einer GPU-Cloud Eine Neocloud ist immer noch ein Service Provider, daher bringt ihr Speicher dieselben Fragen zu Mandantenfähigkeit und Wirtschaftlichkeit mit sich wie jede gemeinsam genutzte Plattform – plus eine zusätzliche Leistungsdimension. Mehrere Kunden teilen sich den Cluster, daher müssen sowohl ihre Daten als auch ihr Durchsatz isoliert werden, was schwieriger ist als reine Datenisolation. Den Gestaltungsspielraum speziell für geteilte KI-Infrastruktur behandelt der Leitfaden für das Design mandantenfähiger KI-Infrastruktur. Bei den Kosten bestimmt die Effizienz der haltbaren Ebene (Erasure Coding, Dichte), wie günstig sich Petabytes an Trainingsdaten und Checkpoints vorhalten lassen, während sich die Kosten der schnellen Ebene nur in dem Maß rechtfertigen, in dem sie die GPU-Auslastung erhöhen. Viele Neoclouds umfassen zudem On-Premises- und Cloud-Kapazität – ein Muster, das der Beitrag Hybrid-Cloud-Datenstrategie für KI-Workloads behandelt. Für Anbieter mit regulierten oder souveränen Kunden findet sich die Sicht auf private Infrastruktur im Beitrag Architektur privater KI-Infrastruktur. Checkliste: Speicher für eine Neocloud Dimensionieren Sie den Speicher für einen dauerhaften Gesamtlesedurchsatz über den gesamten Cluster, nicht für einen Single-Stream-Benchmark. Stellen Sie sicher, dass paralleler Zugriff Tausende gleichzeitige Leser ohne zentralen Engpass bedienen kann. Legen Sie eine haltbare Objektebene für Datensätze und Checkpoints hinter eine schnelle Staging-Ebene für aktive Lesevorgänge. Prüfen Sie einen direkten Datenpfad zur GPU (etwa GPUDirect Storage), um Latenz und CPU-Overhead zu senken. Gestalten Sie den Schreibpfad für Checkpoints so, dass er große Spitzen auffängt, ohne die Trainingsschleife auszubremsen. Schützen Sie die haltbare Ebene mit Erasure Coding und Resilienz gegen Ausfälle und Ransomware. Isolieren Sie auf gemeinsam genutzter GPU-Infrastruktur sowohl Daten als auch Leistung pro Mandant. Optimieren Sie die Kosten pro Terabyte der haltbaren Ebene, und rechtfertigen Sie Ausgaben für die schnelle Ebene mit der GPU-Auslastung, die sie zurückgewinnen. Alles zusammengefasst Für eine Neocloud ist der Speicher keine Nebenrolle – er ist die Drossel dafür, wie viel Umsatz die GPUs erzielen können. Das erfolgreiche Muster besteht aus einer haltbaren, kosteneffizienten Objektebene für Datensätze und Checkpoints, einer schnellen Ebene davor für aktive Daten, einem Datenpfad, der Bytes mit minimalem Overhead in den GPU-Speicher bringt, und einem Schreibpfad, der Checkpoint-Spitzen auffängt – alles auf einer Mandantenfähigkeit, die Leistung ebenso isoliert wie Daten. Die Nachfrage nach Neoclouds soll Prognosen zufolge im weiteren Verlauf des Jahrzehnts schnell wachsen, und die Anbieter, die Speicher als Auslastungsproblem statt als Kapazitätsproblem behandeln, werden ihre GPUs – und ihre Margen – am Arbeiten halten. Häufig gestellte Fragen Warum ist Speicher für eine GPU-Cloud so wichtig? GPUs sind teuer und verarbeiten Daten sehr schnell, sind also nur produktiv, wenn die Daten schnell genug ankommen. Untätige GPUs werden meist durch Speicher verursacht, der den von einem parallelen Trainingsjob verlangten Durchsatz nicht halten kann. Da Leerlaufzeit über einen großen Cluster hinweg teuer ist, bestimmt der Speicherdurchsatz direkt die Auslastung und damit den Umsatz. Was ist GPUDirect Storage? GPUDirect Storage, Teil von NVIDIA Magnum IO, schafft einen direkten Speicherzugriffspfad zwischen Speicher und GPU-Speicher und umgeht den CPU-Bounce-Buffer, den Daten traditionell durchlaufen. Das senkt die Latenz und spart CPU-Zyklen, was hilft, datenhungrige Trainingspipelines gefüllt zu halten. Warum wird in KI-Clouds Objektspeicher genutzt, wenn ein schnelles Dateisystem schneller ist? Beide erfüllen unterschiedliche Rollen. Objektspeicher bietet die haltbare Ebene im Petabyte-Maßstab für Datensätze, Checkpoints und Modellartefakte – mit niedrigen Kosten pro Terabyte und einer Standardschnittstelle. Eine schnellere Ebene, etwa ein paralleles Dateisystem oder ein Flash-Cache, stellt die Daten bereit, die die GPUs gerade lesen. Die meisten Neoclouds nutzen beides und verschieben Daten per Tiering zwischen den Ebenen. Wie wirken sich Checkpoints auf das Speicherdesign aus? Checkpoints sind große, stoßweise Schreibvorgänge, die während des Trainings den Modellzustand sichern. Kann der Speicher diese Spitze nicht auffangen, warten die GPUs untätig, bis der Schreibvorgang abgeschlossen ist. Ein gängiger Ansatz schreibt Checkpoints schnell auf eine schnelle Ebene und lässt sie im Hintergrund auf die haltbare Objektebene abfließen, sodass die Trainingsschleife mit minimaler Verzögerung weiterläuft. Weiterführende Lektüre Verwandte Beiträge: S3-Speicher für KI-Workloads, GPU Direct Storage, Leitfaden für das Design mandantenfähiger KI-Infrastruktur sowie der Hub-Beitrag Speicher für Service Provider (auf Englisch).
