Hopper: Nvidia präsentiert neue H100-GPU mit 80 Mrd. Transistoren [Update: Whitepaper]
Jetzt aktualisiert: Jensen Huang stellte im Rahmen des Keynotes zur GTC 2022 die neue Hopper-Architektur mit der ersten GPU, dem H100, vor. Die Hopper-Architektur soll gegenüber dem Vorgänger Ampere deutlich leistungsstärker sein sowie unter anderen über 80 Milliarden Transistoren und eine TDP von 700 W verfügen.
Update
Original-Artikel vom 22.03.2022: Das Keynote der diesjährigen GTC hatte als Themenschwerpunkte die zahlreichen Anwendungsbereiche von Nvidias KI-Lösungen, beispielsweise für das autonome Fahren oder zur Vorhersage von Wetterereignissen, sowie das "Omniversum" für die Spielentwicklung. Für GPU-Enthusiasten am interessantesten war dabei wohl die Präsentation der Hopper-Architektur zusammen mit der ersten GPU, dem H100.
Was zeichnet Hopper aus?
Die Hopper-Architektur soll gegenüber ihrem Vorgänger Ampere einen deutlichen Sprung in der Leistung bringen und die nächste Welle von KI-Rechenzentren vorantreiben. Nvidia bezeichnet die H100-GPU als größten und leistungsstärksten Beschleuniger der Welt. "Nvidia H100 ist der Motor der weltweiten KI-Infrastruktur, die Unternehmen nutzen, um ihre KI-gesteuerten Geschäfte zu beschleunigen", erklärt Nvidia-CEO Jensen Huang.
Passend dazu: Leak zum GH100: Kommt Nvidias Hopper-GPU mit 48 MiB L2-Cache und acht GPCs?
Der H100 ist in TSMCs 4 Nanometern gefertigt und verfügt über 80 Milliarden Transistoren. Weiterhin soll es sich beim H100 um die erste GPU handeln, die PCI-Express 5.0 unterstützt und die Erste, welche HBM3 nutzt, woraus eine Speicherbandbreite von 3 TB/s ermöglicht werde. Zwanzig solcher H100-GPUs allein sollen den gesamten Internetverkehr der Welt aufrechterhalten können.
Zu den weiteren Features vom H100 zählen: eine neue Transformer-Engine, mehrere Instanzen der 2. Generation durch die MIG-Technologie, Confidential Computing, Nvidia NVLink der 4. Generation sowie DPX-Befehle. Details zu den genannten Features finden Sie auf Nvidias Webseite zur Vorstellung der Hopper-Architektur. Die H100-GPUs sollen zudem ein großes Anwendungsfeld aufweisen. So können sie in jeder Art von Rechenzentren verwendet werden, während acht solcher GPUs in einem DGX H100 vereinigt werden, Nvidias DGX-System der 4. Generation.
Solche Systeme sollen 32 Petaflops KI-Leistung mit neuer F8-Präzision liefern. Jede GPU in einem DGX-H100-System ist zudem über NVLink verbunden und biete eine Übertragungsgrate von 900 GB/s, was etwa das 1,5-fache der vorherigen Ampere-Architektur darstelle. Darüber hinaus könne ein externer NVLink-Switch bis zu 32 DGX-H100-Nodes in einem SuperPOD-Supercomputer vernetzen. Lesen Sie auf der nächsten Seite, in welchen Formfaktoren der H100 erscheinen wird und wie die Spezifikationen dazu aussehen.
Amazon, Google, Tencent, Tesla, NSA uva. erweitern ständig.
Amazon, Google, Tencent, Tesla, NSA uva. erweitern ständig.
Hopper besitzt die Cuda Compatibility 9.0, während Ada bei 8.9 liegt.
Gaming Ampere wurde als 8.6 definiert und Tensor Ampere als 8.0.
Gaming Ampere hat kleinere Tensor-Cores verwendet, als der GA100-Chip, ebenso lag der Matrix-Durchsatz bei FP16 Operationen mit FP32 Accumulation nur bei der Hälfte.
Es wäre möglich das Ada im Prinzip nur FP8 nachgerüstet bekommt, ansonsten der Durchsatz aber gleich bleibt und auch der Tensor Memory Accelerator könnte fehlen.
Mal sehen, ob Nvidia sich da spartanisch zeigt oder doch stärker nachrüstet.
Mehr noch, ein 3D-Block soll nur an 3 TPCs angeschlossen sein.
Nvidias Whitepaper geht nicht auf ein 3D-Only-GPC ein, sie erwähnen aber das nur 2 TPCs für Grafik funktionieren, Seite 18/70:
"Only two TPCs in both the SXM5 and PCIe H100 GPUs are graphics-capable (that
is, they can run vertex, geometry, and pixel shaders)."
Vermutlich um eine bessere Ausbeute zu erreichen werden von 3 nur 2 verwendet.
Der 3D-Durchsatz ist minimalistisch.
@ [Ins Forum, um diesen Inhalt zu sehen]
Ein AMD-Mitarbeiter hat 6nm für MI300 in seinem Berufsprofil auf LinkedIn angegeben:
[Ins Forum, um diesen Inhalt zu sehen]
Mittlerweile hat er sein Profil gelöscht.
Immer wieder geben Mitarbeiter zuviele Informationen preis, ich weiß gar nicht wieso das so häufig passiert.
Wieso sollte AMD etwas anbieten, dass für sie wirtschaftlich keinen Sinn ergibt? Meinst du dort sitzen nur Idioten?
Ausserdem hab ich doch eh eine Quelle gepostet, nicht mein Problem, wenn das hinter einer Paywall liegt
Es ist bekannt wie groß die 7nm Cachedie ist!
Statt der 16 Caches könnte man 8 CCDs fertigen lassen!
Angepasstes Verfahren, aber ganz normale Wafer...