Nvidia DGX-2: 16 Tesla V100 sollen dank NV-Switches zur 81.920 Shader starken GPU werden
Nvidia hat auf der GTC 2018 die zweite Generation seiner DGX-Workstation angekündigt, schlicht DGX-2 genannt. Die Anzahl der verbauten Tesla-V100-Beschleunigerkarten mit der Volta-GPU GV100 verdoppelt sich. 16 Exemplare werden über Nvidias neue NV-Switches aneinander gekoppelt, über den gut 10 TByte Daten pro Sekunde laufen. Der Chiphersteller nennt das DGX-2 eine einzige 81.920 Shader starke GPU.
Neben der Quadro GV100 basierend auf der Volta-GPU GV100 hat Nvidia gestern Abend auch das DGX-2 als zweite große Produktneuheit angekündigt. Der Chiphersteller bewirbt die Box als Deep-Learning-Workstation, die eine Rechenleistung von bis zu zwei PetaFLOPS erreicht. Gemeint ist damit die Rechenleistung der Tensor-Kerne, derer insgesamt 10.240 Stück vorhanden sind.
Die Tensor-Kerne verteilen sich auf 16 Beschleunigerkarten des Typs Tesla V100, doppelt so viele wie noch im DGX-1. Da die Volta -GPU GV100 nur sechs NV-Link-2.0-Ports hat und daher lediglich mit drei anderen Grafikkarten im 4er-Verbund direkt kommunizieren und maximal in einer 8er-Konfiguration zusammengeschlossen werden kann, hat Nvidia eine externe Kommunikationslösung entworfen, den NV-Switch. Dieser stellt einen eigenen Siliziumchip dar, der bei TSMC im 12FFN-Verfahren gefertigt wird und zwei Milliarden Transistoren umfasst. Damit ist der NV-Switch etwas größer als die Pascal-GPU GP108 mit 1,8 Mrd. Transistoren.
Quelle: Nvidia
Die-Shot des NV-Switch
Ein NV-Switch stellt 18 Ports bereit, die je 50 Gigabyte pro Sekunde übertragen, also insgesamt 900 GB/s. Die 16 GPUs werden mit 12 dieser NV-Switches verbunden. Während jede Grafikkarte theoretisch mit bis zu 300 GB/s an das Kommunikations-Mesh angebunden werden könnte, spricht Nvidia von insgesamt 2,4 TB/s. Der Chiphersteller hebt die laut eigenen Aussagen niedrige Latenz der Lösung hervor, nennt aber keine konkreten Daten. Laut Nvidia ermöglichten die NV-Switches, die 16 Tesla-V100-Karten als eine große GPU anzusprechen. Damit ließen sich bis zu 512 GByte große Projekte in den Grafikspeicher laden - zum Einsatz kommen neue 32-GiByte-Versionen der Tesla V100 mit 8 GiByte großen HBM2-Stacks ("8-Hi"). Die 16 Beschleunigerkarten verteilen sich auf zwei Mainboards, die über eine Platine vertikal verbunden werden. Auf Twitter kann man den Aufbau betrachten.
Die zwei Prozessoren werden vom Intel Xeon E5-2690 v4 (Broadwell-EX) auf den Xeon Platinum 8168 (Skylake-SP) mit 24 Kernen, 48 Threads und 2,7 bis 3,7 GHz Takt aktualisiert. Pro CPU stehen 768 GiByte DDR4-Arbeitsspeicher zur Verfügung. Die eingebauten NVMe-SSDs umfassen insgesamt 30 TByte. Acht Infiniband- beziehungsweise 100-Gigabit-Ethernet-Anschlüsse übernehmen die externe Kommunikation.
Ein DGX-2-System soll circa 10 Kilowatt Leistung aufnehmen. Facebooks KI Fairseq soll sich in unter zwei Tagen trainieren lassen, was zehn Mal schneller sei als noch auf dem DGX-1. Die Markteinführung soll im dritten Quartal stattfinden, die UVP liegt bei 399.000 US-Dollar - "ein Freundschaftspreis" wie CEO Jensen Huang auf seiner GTC -Keynote betonte.


Munter bleiben!
Also ist da der Ansatz von Multi-Chip-Module (MCM) GPU's, der einzig richtige Weg, der Nvidia hier mit DGX-2 als GPU 'compute cluster' mit den 16x Tesla GV100 (32 GB HBM2 / 21 Billion Transistors / 815 mm² Chipgröße / 300 GB/s NV-Link-2.0) nun mittels den neuen 12x 'NVSwitch' ASICs @ total 2,4 TB/s bidirektional eingeschlagen hat. >>> NVIDIA Future GPUs To Feature Multiple Chips on the Same Package
NVIDIA’s MCM GPU Package Design Featured in Research Publication – A Sight at NVIDIA’s Next GPU Accelerator For HPC?
"So just recently, a research publication (via The Tech Report) has been posted by NVIDIA which talks about building a MCM package or otherwise known as Multi-Chip-Module package. What MCM basically is that it features several chips (GPU/CPU/Memory/Controllers) on the same chip interposer that are interconnected via fast I/O lanes."
>>> 'NVLINK-FABRIC' - Verbindungstechnologien NVLink und NVSwitch | NVIDIA <<<
Aber in anderen Teilen der Welt lebt man nicht hinterm Mond