Nvidia Hopper: Gewaltige H100-GPU zeigt sich auf ersten Fotos
Nvidias H100 zeigt sich mehr als einen Monat nach der offiziellen Vorstellung nun auch auf ersten Fotos. Abgelichtet wurde das SXM-Modul, welches gegenüber der PCI-Express-Variante nicht nur mehr CUDA-Cores und somit Leistung liefert, sondern auch die doppelte TDP aufweist.
Nvidias diesjährige AI-Hausmesse, die GTC 2022, liegt nunmehr über einen Monat in der Vergangenheit. Gezeigt wurde dort unter anderem die neueste Datencenter-GPU des Herstellers, die auf die Bezeichnung H100 hört und mit einer 4nm-GPU auf Basis der Hopper-Architektur bestückt ist. Nun darf diese seitens der Presse auch erstmals der Öffentlichkeit gezeigt werden. Entsprechende Fotos der SXM-Variante inklusive Grafikeinheit zeigt die Webseite servethehome.com.
Bildergalerie
Insgesamt misst die Fläche des verbauten GH100-Chips 814 mm². Hinzu gesellen sich an den Seiten in Summe sechs Speichermodule in Form von HBM3. Insgesamt 80 GiByte an VRAM stehen dem Grafikchip bei einer Speicherbandbreite von 3 TB/s zur Verfügung. In Sachen CUDA-Cores kommt die SXM-Variante auf 16.896 FP32-Einheiten.
Demgegenüber steht die etwas beschnittene PCI-E-Alternative mit 14.592 Shader-Einheiten, deren Speicher-Bandbreite zudem auch auf 2 TB/s gekappt ist. Allerdings ist die H100 mit PCI-Express 5.0 auch ein gutes Stück weniger stromhungrig. 350 Watt nennt das Datenblatt als TDP für die Steckkarte, während die H100 im SXM-Format eine TDP von 700 Watt aufweist. In der Fertigung setzt Nvidia auf TSMCs CoWoS Packaging-Technologie.
Für die Datencenter-Klientel wird Nvidias H100 womöglich eine deutlich teurere Anschaffung werden als die Vorgänger GPU A100, insofern die erste aus Japan stammende Preislistung auch annähernd den üblichen Marktpreisen entspricht. So listete der dortige Händler G-Dep Advance den H100-Grafikbeschleuniger in seiner PCI-E-Ausführung für umgerechnet rund 31.500 US-Dollar vor Steuern, während die A100 dort für umgerechnet etwa 12.500 US-Dollar ohne Steuern angeboten wird. Wohlgemerkt gibt es mit der H100 immerhin auch mehr als die zweieinhalbfache Leistung.
Der Chip legt tatsächlich beträchtlich zu. Die absolute Leistung steigt etwa um das Dreifache, der absolute Verbrauch steigt zwar an aber die Perf/Watt-Werte erhöhen sich beträchtlich.
Zu beachten:
Beide Chips verwenden nicht den Vollausbau und beide Chips deaktivieren zwei HBM-Controller, sodass nur 5 HBM-Stacks genutzt werden (Yield).
Ergänzend könnte man noch vermuten, dass der Yield auf dem "4N" sehr gut ist, denn beim A100 entschloss man sich nur 84 % der Einheiten auf dem finalen Produkt zu nutzen während man beim H100 fast 92 % der verfügbaren Einheiten freischaltet.
Während nVidia beim A100 noch vielfach eine Nachkommastelle angab, gibt es bei Hopper nur noch gerundete, ganze Zahlen, was zu Rundungsfehlern führt und bspw. zu einer gewissen Schwankungsbreite zum zurückgerechneten Peak-Takt.
Hopper organisiert die SMs um und fasst nun doppelt so viele FP32- und FP64-Einheiten in einem SM zusammen. Die Anzahl der Tensor Cores bleibt bei weiterhin 4 pro SM.
Bzgl. FP64 im Vergleich zur Konkurrenz ist zu beachten, dass die Performance der regulären ALUs nicht mehr die Gesamtleistung ausweist, da auch die Tensor Cores schon seit Ampere über IEEE-kompatible FP64-Funktionalität verfügen und diese noch steigern können.
In Anlehnung an den News-Titel anzumerken ist, dass Hopper flächentechnisch gar etwas kleiner als Ampere in Form des A100 ist.
Bezüglich Lovelace kann man noch keine verlässlichen Ableitungen treffen. Das mit dem "4N" gezeigte verspricht einiges, aber noch weiß man nicht, ob Lovelace auch den "4N" verwenden wird (auch wenn es vielleicht naheliegend erscheint). Hier muss man abwarten ...
[Ins Forum, um diesen Inhalt zu sehen]
Wohlgemerkt gibt es mit der H100 immerhin auch mehr als die zweieinhalbfache Leistung.