Nvidia-Hopper: H100 in zwei verschiedenen Formfaktoren
Erfahren Sie auf dieser Seite, wie die Spezifikationen der SMX- und PCI-E-Formfaktoren des H100 lauten und was es mit dem Grace-Hopper-Superchip auf sich hat.
Auf dieser Seite
Die H100-GPU kommt in den SXM- und PCI-Express-Formfaktoren. Für diese beiden Formfaktoren sollen laut Videocardz die offiziellen Spezifikationen folgendermaßen aussehen:
H100 im SXM-Formfaktor:
- acht GPCs, 66 TPCs, zwei SMs pro TPC, 132 SMs pro GPU
- 128 FP32-CUDA-Kerne pro SM, 16.896 FP32-CUDA-Kerne pro GPU
- vier Tensor-Kerne der 4. Generation pro SM, 528 pro GPU
- 80 GiByte HBM3, 5 HBM3-Stapel, zehn 512-Bit-Speichercontroller
- 50 MiByte L2-Cache
- 700 W TDP
- NVLink der 4. Generation und PCI-Express 5.0
H100 im PCI-Express-Formfaktor:
- sieben oder acht GPCs, 57 TPCs, zwei SMs pro TPC, 114 SMs pro GPU
- 128 FP32-CUDA-Kerne pro SM, 14.592 FP32-CUDA-Kerne pro GPU
- vier Tensor-Kerne der 4. Generation pro SM, 456 pro GPU
- 80 GiByte HBM2e, 5 HBM2e-Stapel, zehn 512-Bit-Speichercontroller
- 50 MiByte L2-Cache
- NVLink der 4. Generation und PCI-Express 5.0
Darüber hinaus lassen sich GPUs der Hopper-Architektur auch mit Grace-CPUs von Nvidia koppeln. Daraus entsteht der Grace-Hopper-Superchip, ein integriertes Modul, das für HPC- und KI-Anwendungen im Riesenmaßstab entwickelt wurde. Die H100-GPU von Nvidia wird laut eigenen Angaben ab dem dritten Quartal 2022 erhältlich sein.
Quelle: Nvidia, Videocardz
Whitepaper zur Hopper-Architektur geht ins Detail
Update vom 23.03.2022: Für diejenigen, die sich besonders tief mit der Materie rund um Nvidias Hopper-Architektur und der H100-GPU beschäftigen möchten, hat Nvidia ein umfangreiches Whitepaper veröffentlicht. In diesem wird die GPU-Architektur des H100 detailreich aufgedröselt, mit allen technischen Daten und Abbildungen zur besseren Veranschaulichung, inklusive der vorhandenen Features wie etwa der Transformer Engine. Auch die Architekturen des HBM- und L2-Cache-Speichers werden separat behandelt sowie Nvidias NVLink-Netzwerk der vierten Generation zusammen mit der neuen NVSwitch-Technologie der dritten Generation.
Quelle: Nvidia
Amazon, Google, Tencent, Tesla, NSA uva. erweitern ständig.
Amazon, Google, Tencent, Tesla, NSA uva. erweitern ständig.
Hopper besitzt die Cuda Compatibility 9.0, während Ada bei 8.9 liegt.
Gaming Ampere wurde als 8.6 definiert und Tensor Ampere als 8.0.
Gaming Ampere hat kleinere Tensor-Cores verwendet, als der GA100-Chip, ebenso lag der Matrix-Durchsatz bei FP16 Operationen mit FP32 Accumulation nur bei der Hälfte.
Es wäre möglich das Ada im Prinzip nur FP8 nachgerüstet bekommt, ansonsten der Durchsatz aber gleich bleibt und auch der Tensor Memory Accelerator könnte fehlen.
Mal sehen, ob Nvidia sich da spartanisch zeigt oder doch stärker nachrüstet.
Mehr noch, ein 3D-Block soll nur an 3 TPCs angeschlossen sein.
Nvidias Whitepaper geht nicht auf ein 3D-Only-GPC ein, sie erwähnen aber das nur 2 TPCs für Grafik funktionieren, Seite 18/70:
"Only two TPCs in both the SXM5 and PCIe H100 GPUs are graphics-capable (that
is, they can run vertex, geometry, and pixel shaders)."
Vermutlich um eine bessere Ausbeute zu erreichen werden von 3 nur 2 verwendet.
Der 3D-Durchsatz ist minimalistisch.
@ [Ins Forum, um diesen Inhalt zu sehen]
Ein AMD-Mitarbeiter hat 6nm für MI300 in seinem Berufsprofil auf LinkedIn angegeben:
[Ins Forum, um diesen Inhalt zu sehen]
Mittlerweile hat er sein Profil gelöscht.
Immer wieder geben Mitarbeiter zuviele Informationen preis, ich weiß gar nicht wieso das so häufig passiert.
Wieso sollte AMD etwas anbieten, dass für sie wirtschaftlich keinen Sinn ergibt? Meinst du dort sitzen nur Idioten?
Ausserdem hab ich doch eh eine Quelle gepostet, nicht mein Problem, wenn das hinter einer Paywall liegt
Es ist bekannt wie groß die 7nm Cachedie ist!
Statt der 16 Caches könnte man 8 CCDs fertigen lassen!
Angepasstes Verfahren, aber ganz normale Wafer...