Nvidia: 72 Blackwell-GPUs mit neuem KI-Benchmark-Rekord
Nvidia verkündet für einen GPU-Verbund auf Blackwell-Basis einen neuen Rekord im MLPerf-Benchmark, der die KI-Leistung der Plattform unterstreichen soll.
In der neuesten Ausgabe des MLPerf Inference-Benchmarks (Version 5.0), der laut Nvidia einige der anspruchsvollsten KI-Schlussfolgerungen ("Inferenz") im Bereich des maschinellen Lernens abbildet, konnte das Unternehmen mit einem GB200 NVL72-System bestehend aus 72 Blackwell-Grafikprozessoren, die zu einer logischen GPU verbunden sind, neue Rekordergebnisse verkünden.
Die Rack-Scale-Lösung ist für den Einsatz in sogenannten "KI-Fabriken" gedacht, die im Gegensatz zu herkömmlichen Rechenzentren nicht nur Daten speichern und verarbeiten, sondern "Intelligenz im großen Stil produzieren, indem sie Rohdaten in Echtzeit-Einsichten umwandeln", wodurch "schnell, kostengünstig und für so viele Nutzer wie möglich präzise Antworten auf Anfragen" geliefert werden, so Nvidia.
Mit steigender Anforderung und Komplexität durch anwachsende Modelle und ihre Parameter steige demnach der für die Erzeugung jedes Tokens erforderliche Rechenaufwand. Nvidias GB200 NVL72 mit Blackwell-Architektur konnte dabei auf Basis des anspruchsvollen Sprachmodells Llama 3.1 405B einen bis zu 30-fach höheren Durchsatz als das H200 NVL8-System aus der Hopper-Vorgängergeneration erreichen.
Nvidia: Neben Blackwell wird auch Hopper weiter optimiert
Die Leistung wurde laut Nvidia durch die mehr als dreifache Leistung pro GPU und eine neunfach größere Anbindung von Nvidias NVLink-Interconnect-Domain erreicht. Neben der Blackwell-Plattform habe aber auch die weiterhin unterstützte Hopper-Plattform "eine außergewöhnliche Leistung" gezeigt, wobei die Leistung beim vor einem Jahr im MLPerf Inference v4.0 eingeführten Llama 2 70B dank umfassender Optimierungen im Vergleich auf das 1,6-fache gesteigert werden konnte. Sämtliche Ergebnisse und Details liefert Nvidia in seiner Bekanntgabe.
"Die Kombination aus der Blackwell-Architektur und dem optimierten Software-Stack ermöglicht eine neue Inferenzleistung und ebnet den Weg für KI-Fabriken, die höhere Intelligenz, mehr Durchsatz und schnellere Token-Raten liefern", heißt es dort unter anderem. "Die 2022 eingeführte Nvidia Hopper-Architektur treibt viele der heutigen KI-Inferenzfabriken an und wird auch weiterhin das Modelltraining unterstützen. Durch kontinuierliche Software-Optimierung steigert Nvidia den Durchsatz von Hopper-basierten KI-Fabriken, was zu einer höheren Wertschöpfung führt".
Ihre Meinung ist gefragt!
Was sagen Sie zu dem Thema? Nutzen Sie die Kommentarfunktion und teilen Sie uns Ihre Meinung mit. Beachten Sie beim Kommentieren aber bitte die Forenregeln. Folgen Sie uns außerdem für Neuigkeiten in der Hardware-Welt oder unsere exklusiven Inhalte gern auf Whatsapp und X. Unsere Video-Inhalte (oftmals gewürzt mit einer Prise Humor) finden Sie bei Youtube, Instagram und Tiktok.
Dann ist es gekauft...ähh, oder doch nicht. denn die Stromrechnung willste nicht bezahlen.
... ähh welche Fehler?