5 Engpässe bei GPUs liegen selten an den GPUs selbst. Moderne GPUs verfügen über enorme Rechenkapazität. Der eigentliche Engpass ist die Datenbereitstellung – Trainingsdaten schnell genug vom Speicher in den GPU-Speicher zu bringen. Liefert der Speicher nicht genug Tempo, stehen teure GPUs still. GPU Direct Storage (GDS) setzt genau hier an. Damit greifen GPUs direkt auf den Speicher zu und umgehen CPU und Arbeitsspeicher. Die Daten fließen direkt vom Speicher in den GPU-Speicher, was die Latenz senkt und den Durchsatz erhöht. Für Infrastrukturarchitekten ist es entscheidend, GDS zu verstehen. Dieser Beitrag erklärt, wie GDS funktioniert, welche Speicherinfrastruktur nötig ist und wie Sie GDS-Deployments planen. Der Engpass bei der Datenbereitstellung: Warum GPU Direct Storage wichtig ist Beim Training großer Modelle bewegen sich enorme Datenmengen durch die Pipelines. Datensätze können Terabytes groß sein. Das Training lädt Gigabytes pro Sekunde aus dem Speicher. Die Geschwindigkeit der Datenbereitstellung bestimmt den Trainingsdurchsatz. Traditionell ist der Weg vom Speicher zur GPU indirekt. Der Speicher ist über Netzwerke mit den Rechenservern verbunden. Die Daten fließen vom Speicher in den CPU-Arbeitsspeicher und dann über PCI in den GPU-Speicher. Jeder Übergang verursacht Latenz und Einschränkungen. Die Folge: Trainings-Workloads sind I/O-gebunden, nicht GPU-gebunden. Die GPUs könnten schneller rechnen, als die Pipelines liefern. Dann warten die GPUs untätig auf die nächsten Batches. Das Training läuft langsamer. Sie bezahlen für GPU-Zeit, ohne sie voll zu nutzen. Im großen Maßstab verschärft sich das. Bei 100 GPUs bedeuten 20 % Leerlauf, dass die Kapazität von 20 GPUs verschwendet wird. Über einen Monat ist das eine erhebliche Verschwendung. GPU Direct Storage optimiert diesen Pfad. Die Daten fließen direkt in den GPU-Speicher statt über den CPU-Arbeitsspeicher. Die Latenz sinkt, der Durchsatz steigt, und die GPUs erhalten ihre Daten schneller. So funktioniert GPU Direct Storage: Architekturüberblick GPU Direct Storage nutzt mehrere Hardware- und Softwareebenen, um Daten direkt zwischen GPU und Speicher zu bewegen. Auf Hardwareebene unterstützen GPUs Direct Memory Access (DMA) – die direkte Datenübertragung ohne Beteiligung der CPU. Moderne Speicherschnittstellen wie NVMe over Fabrics (NVMe-oF) ermöglichen von der GPU angestoßene Übertragungen. Hochgeschwindigkeitsverbindungen wie InfiniBand oder Ethernet stellen den Transport bereit. Auf Softwareebene bieten die cuFile-Bibliothek von NVIDIA und ähnliche Tools APIs für den direkten Zugriff auf den GPU-Speicher. Statt der üblichen Datei-I/O über die CPU rufen Anwendungen cuFile-Funktionen für direkte Übertragungen auf. Der praktische Nutzen: Die Datenbewegung wird von der CPU-Verarbeitung entkoppelt. Die CPU ist nicht beteiligt; stattdessen verständigen sich GPU und Speichersystem direkt. Das entlastet die CPU und ermöglicht einen unabhängigen Pipeline-Betrieb. Wichtig: GDS ist am wirksamsten, wenn die Speichersysteme dafür ausgelegt sind. Nicht alle Systeme bieten die nötigen Schnittstellen oder Performance-Eigenschaften. Anforderungen an die Speicherinfrastruktur für GPU Direct Storage GPU-Cluster für GDS erfordern bestimmte Architekturentscheidungen. Erstens muss der Speicher die nötigen Protokolle unterstützen. Am häufigsten ist NVMe-oF (NVMe over Fabrics): Speichersysteme stellen NVMe über das Netzwerk bereit. So können GPU und Speicher über schnelle Protokolle kommunizieren. Zweitens muss der Speicher genug Durchsatz liefern, um die Verbindungen auszulasten. Bei 100-Gbit/s-Ethernet zwischen GPUs und Speicher nutzt ein Speicher, der nur 50 Gbit/s liefert, die Verbindung nicht aus. Der Speicher muss zu den Fähigkeiten von Netzwerk und GPUs passen. Drittens muss die Latenz des Speichers niedrig genug sein. Latenzen von SSD-Speicher im Mikrosekundenbereich sind akzeptabel. Höhere Latenzen sind für GDS womöglich ungeeignet. Viertens sollte der Speicher Ihre Zugriffsmuster beim Training unterstützen. Training umfasst große sequenzielle Lesevorgänge und zufälliges Shuffling. Optimieren Sie für diese Muster. Kompatibilität und Ökosystem GDS wird nicht überall unterstützt. Klären Sie Ihre Kompatibilitätsanforderungen vor der Planung. GDS-Unterstützung gibt es vor allem für NVIDIA-GPUs. AMD-GPUs und andere Beschleuniger verfolgen andere Ansätze. Wer mehrere Beschleunigertypen einsetzt, kann GDS womöglich nicht für alle nutzen. Die Unterstützung durch Speichersysteme ist sehr unterschiedlich. Manche Enterprise-Systeme – insbesondere solche für HPC – bieten gute Unterstützung. Anderen fehlen die nötigen Schnittstellen. Prüfen Sie die Kompatibilität vor dem Deployment ausdrücklich. Auch die Unterstützung auf Anwendungsebene spielt eine Rolle. Nicht alle Trainings-Frameworks unterstützen GDS automatisch. Für TensorFlow und PyTorch gibt es Plug-ins, die eine explizite Konfiguration erfordern. Standard-Datei-I/O profitiert nicht automatisch; Anwendungen müssen angepasst werden, um die direkten APIs zu nutzen. Diese Komplexität macht GDS vor allem für Unternehmen mit standardisierten Workloads und standardisierter Infrastruktur praktikabel. Bei vielfältigen Workloads auf mehreren Beschleunigertypen ist GDS womöglich nicht umsetzbar. Auswirkungen auf die Performance und ihre Messung GDS kann die Trainingsleistung spürbar verbessern, das Ausmaß variiert jedoch. Bei stark I/O-gebundenem Training – wenn die Pipelines der Engpass sind und die GPUs nicht voll ausgelastet werden – kann GDS den Durchsatz um 20–50 % steigern. Die Verbesserung entsteht, weil Engpässe bei CPU und Arbeitsspeicher wegfallen. Bei GPU-gebundenem Training – wenn die Rechenleistung limitiert, nicht die Datenbereitstellung – bringt GDS womöglich kaum Verbesserungen. Die GPUs sind bereits ausgelastet; schnellere Datenbereitstellung erhöht das Tempo nicht. Zudem bringt GDS zusätzlichen Aufwand mit sich. Der direkte Speicherzugriff erfordert spezielle APIs und eine korrekte Konfiguration. Schlecht konfigurierte Systeme können sogar an Leistung verlieren. Messen Sie die Wirkung mit sorgfältigen Benchmarks. Vergleichen Sie Jobs mit und ohne GDS bei identischen Daten und Workloads. Messen Sie die GPU-Auslastung, den Durchsatz und die Trainingsdauer. So sehen Sie, ob Ihre Workloads von GDS profitieren. Speicher-Deployments für GPU Direct Storage planen Wenn Sie eine GPU-Trainingsinfrastruktur im großen Maßstab mit GDS-Unterstützung planen, gehen Sie so vor: Erstens: Bewerten Sie Ihre Workloads. Sind sie I/O-gebunden oder GPU-gebunden? Stark GPU-gebundene Workloads rechtfertigen den Aufwand für GDS womöglich nicht. Bei I/O-gebundenen Workloads wird GDS in Verbindung mit einer Infrastruktur für extreme KI-Performance strategisch wichtig. Zweitens: Wählen Sie Speicher, der GDS ausdrücklich unterstützt. Das ist nicht verhandelbar. Fragen Sie die Anbieter nach der Unterstützung, fordern Sie Dokumentation an und testen Sie mit Ihren Workloads, bevor Sie Lösungen für hochperformanten KI-Speicher bereitstellen. Drittens: Sorgen Sie für leistungsfähige Verbindungen. GDS erfordert eine schnelle Verbindung mit niedriger Latenz zwischen GPU und Speicher. Standard-Ethernet reicht womöglich nicht aus; im Zusammenspiel mit skalierbarem Speicher für KI-Pipelines (auf Englisch)kann InfiniBand nötig sein. Viertens: Planen Sie den Konfigurationsaufwand ein. GDS lässt sich nicht einmal einrichten und dann vergessen. Optimale Performance erfordert sorgfältige Konfiguration, Unterstützung durch die Anwendungen und unter Umständen individuelle Anpassungen. Eine hochperformante Trainingsinfrastruktur aufbauen GDS ist ein Baustein einer hochperformanten Trainingsinfrastruktur. Richtig umgesetzt verbessert es die Effizienz und verkürzt die Trainingszeit. Es ist jedoch nicht für jedes Unternehmen geeignet. Betreibt Ihr Unternehmen GPU-Training im großen Maßstab mit I/O-Engpässen, lohnt sich eine Bewertung von GDS. Klären Sie mit den Anbietern, ob es praktikabel ist. Führen Sie sorgfältige Benchmarks durch, um die tatsächliche Wirkung zu verstehen. Ist der Nutzen erheblich, investieren Sie in eine saubere Umsetzung. Ist GDS nicht praktikabel – wegen inkompatibler Workloads oder Systeme –, konzentrieren Sie sich auf andere Optimierungen: Prefetching, Caching, bessere Datenorganisation und intelligenteres Scheduling. Die effizientesten Unternehmen kennen ihre konkreten Engpässe und beseitigen sie gezielt. GDS ist ein wirksames Mittel gegen I/O-Engpässe, wenn es die richtige Lösung ist. Weiterführende Artikel KI-Datenpipelines: Architektur, Phasen und Best Practices Tiered Storage für KI: Skalierbare Performance und Kostenkontrolle Skalierbarer Speicher für KI-Pipelines (auf Englisch) Hochperformanter KI-Speicher KI-Speicher mit hoher Kapazität Flash-Performance für unstrukturierte Daten (auf Englisch)
