H100 NVL: Nvidia mit erster Dual-GPU seit Langem - aber nicht fürs Gaming
Für Rechenzentren erweitert Nvidia sein Angebot und präsentiert eine besondere Version der Hopper-GPU, die entwickelt worden ist, um KI-Sprachmodelle wie ChatGPT zu fördern. H100 NVL ist eine Dual-GPU aus zwei PCI-E-Karten, die über drei NVLink-Gen4-Bridges miteinander verbunden sind. Insgesamt soll der HBM-3-Gesamtspeicher bei 188 GB liegen.
Als ChatGPT von OpenAI allmählich auf der Bildfläche auftauchte und zeigte, was die Text-KI alles zu leisten imstande war, sind viele Unternehmen hellhörig geworden. Da reiht sich auch der Chiphersteller Nvidia ein, der unter Führung von CEO und Mitbegründer Jensen Huang im vergangenen Keynote den Möglichkeiten der KI viel Raum gegeben hatte. Für KI-Sprachmodelle (Large Language Models, LLM) wie etwa ChatGPT hat Nvidia nun seine Hopper-GPU für Rechenzentren modifiziert und die H100 NVL vorgestellt.
Doppelte Leistung für das doppelte Geld?
H100 NVL umfasst dabei nicht nur eine GPU, sondern gleich zwei und ist somit nach langer Zeit wieder eine Dual-GPU des Unternehmens. NVL steht hierbei für NVLink, denn die beiden PCI-E-Karten werden über drei NVLink-Gen4-Bridges miteinander verbunden. Die H100 NVL hat im Gegensatz zum PCI-E- und SXM-Formfaktor deutlich mehr Speicher zur Verfügung, da alle sechs Stacks an HBM3-Speicher berücksichtigt werden. Statt 80 GB sind es 188 GB, beide Hopper-GPUs sind demnach mit 94 GB ausgestattet, wie Nvidia auch bestätigt.
Quelle: Nvidia
H100 SXM vs. H100 PCI-E vs. H100 NVL
Der Speicher ist über die vollständigen 6.144 Bit angebunden, für jeden HBM3-Stack wären das 1.024 Bit. Die Übertragungsrate liegt laut Nvidia bei 7,8 TB/s, was mehr als dem Doppelten der SXM-Variante entspricht. Zum Arbeiten werden für die Dual-GPUs jeweils 350 bis 400 Watt (konfigurierbar) veranschlagt. Zum Vergleich: Die H100 SXM hat eine Leistungsaufnahme von bis zu 700 W. Nvidia selbst beschreibt seine neu "Inferenzplattform" folgendermaßen:
"Nvidia H100 NVL für die Bereitstellung großer Sprachmodelle ist ideal für massive LLMs wie ChatGPT in großem Maßstab. Die neue H100 NVL mit 94 GB Speicher und Transformer-Engine-Beschleunigung bietet eine bis zu 12-mal schnellere Inferenzleistung bei GPT-3 im Vergleich zur vorherigen Generation A100 im Rechenzentrumsmaßstab."
Zur Verfügbarkeit gibt Nvidia bekannt, dass die H100-NVL-Dual-GPU im zweiten Halbjahr 2023 auf den Markt kommen soll. Zum Preis sind noch keine Angaben vorhanden, allerdings kostete eine einzelne H100-GPU bei einem japanischen Händler vor fast einem Jahr noch umgerechnet 31.500 Euro. Möglicherweise könnte der Preis also durchaus über 60.000 Euro liegen.
Quelle: Nvidia
Statt 31500 "nur" 60000 €.
Für mein Haus in der Slowakei mit 600 m² Grund hab ich 1,75 Mio SK (ca. 67000 €) bezahlt.
Ja, jeder Vergleich hinkt, trotzdem dekadent !
Das hat mit Dekadenz nix zu tun. Diesselbe Überlegung gibts es z.B. in analog auch auf der Baustelle, wenn die Baufirma überlegt nen Kipper mit doppeltem Volumen anzuschaffen. Das sind einfach Arbeitsgeräte/Betriebsmittel.
Statt 31500 "nur" 60000 €.
Für mein Haus in der Slowakei mit 600 m² Grund hab ich 1,75 Mio SK (ca. 67000 €) bezahlt.
Ja, jeder Vergleich hinkt, trotzdem dekadent !
Zu kleine Marge, zu geringe Verkausfzahlen... es lohnt sich im Vergleich zu anderen Lösungen schlicht nicht.