Große KI-Modelle 48-mal schneller laden? Nvidia veröffentlicht Modelexpress als Open Source
Nvidia stellt Modelexpress als Open-Source-Tool vor, das Modellgewichte großer KI-Modelle über GPUs, NVMe und Server verteilt und Ladezeiten drastisch senkt.
Nvidia hat "ModelExpress" (kurz MX) in einem ausführlichen Blogbeitrag vorgestellt - ein in Rust geschriebenes, quelloffenes Werkzeug, das Modellgewichte großer KI-Modelle zwischen GPUs, NVMe-Speichern und Inferenzservern verteilt. Der Code steht unter Apache-2.0 im Repository "ai-dynamo/modelexpress" bereit und gehört zu Nvidias Dynamo-Projekt für verteilte LLM-Inferenz. Unterstützt werden vLLM, SGLang, TensorRT-LLM sowie Dynamo selbst.
In einem eigenen Test sank die reine Ladezeit der Modellgewichte von Deepseek-V4 Pro um den Faktor 48 (von 8:53 Minuten auf 11 Sekunden per GPU-zu-GPU-Transfer). Für die komplette Startzeit einer Instanz fällt der Sprung kleiner aus.
So funktioniert die Ladekette von Modelexpress
MX prüft vor jedem Ladevorgang, ob eine passende Kopie der Gewichte bereits im Cluster liegt, statt jede Instanz einzeln neu zu laden. Dabei arbeitet das Tool eine feste Prioritätenkette ab: GPU-zu-GPU-Transfer per RDMA (Remote Direct Memory Access) über Nvidias Bibliothek NIXL, dann Streaming aus Objektspeichern, dann GPUDirect Storage (GDS) für den direkten NVMe-Zugriff auf den GPU-Speicher und zu guter Letzt der klassische Lader über den Host-Arbeitsspeicher.
Nvidias Vergleichsdiagramm zufolge dauerte das Laden per Modelstreamer aus einem S3-Bucket 3:16 Minuten (Faktor 2,7), von lokaler Disc 1:10 Minuten (Faktor 7,6) und per P2P-RDMA nur 11 Sekunden (Faktor 48) - jeweils gegenüber dem "kalten" HF-Download als Vergleichswert.
Der Faktor 48 gilt laut Nvidia indes nur für den reinen Gewichtstransfer. Wird nur dieser per RDMA beschleunigt, sinkt die komplette Startzeit kaum (von 8:01 auf 7:00 Minuten) - weil dann die JIT-Kompilierung der Rechenkerne zum Flaschenhals wird. Erst wenn Modelexpress zusätzlich die kompilierten Kernel-Caches überträgt, sinkt die Gesamtstartzeit laut Nvidia auf 1:44 Minuten.
Bildergalerie
Speicher und Netzwerk werden zum Flaschenhals
Bei Modellen wie Deepseek-V4 Pro mit rund 806 GiB Gewichtsdaten reicht reine Rechenleistung nicht mehr aus. Laden zehn Instanzen dasselbe Modell parallel, kommen laut Nvidia rund acht Tebibyte redundanter Netzwerklast zusammen - MX bündelt solche Downloads über eine gemeinsame Cache-Verwaltung.
Im Github-Repository listet Nvidia zudem bekannte Einschränkungen: Der GDS-Lader skaliert bislang nicht sauber mit dem Tensor-Parallelismus, was den Geschwindigkeitsvorteil gegenüber klassischen Disc-Ladern teils wieder auffrisst. Auf der Roadmap stehen unter anderem ein mehrstufiges Cache-System zwischen Arbeitsspeicher, NVMe und Netzwerkspeicher sowie schnellere P2P-Übertragungen für das laufende Nachladen von Gewichten beim Reinforcement-Learning-Training.
Mitmachen und kommentieren
Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich über Ihre fundierte Meinung in den Kommentaren zu dieser Meldung. Sollten Sie noch keinen Extreme-Account haben, laden wir Sie zu einer Registrierung im Forum ein. Beachten Sie beim Kommentieren aber bitte die gültigen Forenregeln. Folgen Sie gerne PCGH bei 🔈 Youtube oder 💬 Whatsapp und erhalten Sie Neuigkeiten zu Grafikkarten, CPUs und Gaming direkt in Ihrem Feed.
