AMD Instinct MI300X: KI-Sprachmodellbeschleuniger mit 750 W TDP
AMDs Instinct MI300X ist ein KI-Beschleuniger für Sprachmodelle mit einer TDP von 750 W, wie das Kleingedruckte einer AMD-Pressemitteilung kürzlich verriet. Die Markteinführung ist für das dritte Quartal 2023 geplant.
AMD bläst nun offenbar zur Großoffensive gegen Nvidia im Bereich der KI-Beschleuniger: Erst im Januar hatte AMD den Instinct MI300A vorgestellt, der auf Zen-4-Kernen und CDNA-3-GPU basiert. Auf einem AMD-Event in San Francisco präsentierte CEO Dr. Lisa Su den Instinct MI300X, der ausschließlich auf CDNA-3-Grafikkernen basiert. Erst jetzt fiel im Kleingedruckten einer AMD-Pressemitteilung die Thermal Design Power (TDP) auf: Demnach wird der MI300X eine TDP von 750W haben.
Bislang höchste TDP im Bereich der KI-Beschleuniger
Der MI300X tauscht die insgesamt 24 Zen-4-CPU-Kerne des MI300A gegen weitere CDNA-3-Grafikeinheiten aus und besitzt mit 192 GiB auch mehr HBM3- Speicher. Kein anderer KI-Beschleuniger für "Large Language"-Modelle wie ChatGTP, Google Bard und Bing hat zudem eine höhere TDP: AMD gibt für den MI300X besagte 750 W TDP an, die Vorgängergeneration MI250X auf CDNA-2-Basis kam stattdessen nur auf 560 W.
Auch die Mitbewerber geben für ihre KI-Beschleuniger niedrigere Leistungswerte an. Nvidias H100 SXM-Grafikeinheit kommt auf 700 W TDP und liegt damit laut Datenblatt nur knapp hinter AMDs Neuzugang. Die "Intel Max 1550"-Grafikeinheit liegt mit 600 W TDP noch etwas weiter hinter den KI-Beschleunigern von AMD und Nvidia.
MI300X und MI300A im Vergleich
Der neu vorgestellte Instinct MI300X besitzt keine CPU-Kerne, während ein MI300A drei 8-Kern-CCDs enthält und somit auf insgesamt 24 Zen-4-Kerne kommt. Beim MI300X werden die drei CPU-Kerne durch zwei GPU-Einheiten ersetzt, so dass ein MI3000X über 8 statt 6 GPU-Einheiten verfügt. Statt der 128 GiB HBM3-Speicher des MI300A setzt AMD bei gleicher Speicherbandbreite von 5,2 TB/s auf 192 GiB HBM3-Speicher. Die Anzahl der Transistoren steigt beim MI300X von 146 Milliarden auf 153 Milliarden.
Quelle: AMD Pressemitteilung (via Tomshardware)
Das Problem ist nicht mal der derzeitige Performancegewinn. Aktuell verdoppelt sich ungefähr alle 2,2 Jahre die Effizienz eines Supercomputers. Möchte man Mitte der 2030iger einen Zetta-Scale System bauen wäre das mit Hardware, basierend auf aktuellen Entwicklungen, kaum möglich. Ein entsprechender Rechner würde basierend auf der aktuellen Entwicklung ca. die Hälfte an Leistung eines kleinen AKWs benötigen. Ein gutes Video zum MI300 bietet High Yield mit seinem Deep Dive.
[Ins Forum, um diesen Inhalt zu sehen]
Weiß da jemand mehr?
Was ich allerdings als Marketing abtun würde ist, dass der vorrangig MI300X ein KI-Beschleuniger ist. Das kann der Zwar auch beschleunigen, aber Nvidia konzentriert sich hier viel mehr darauf. Dagegen hat AMD mehr die klassischen Simulation im Blick, wo viel 64 Bit Gleitkomma-Operationen notwendig. Genau das, was wir z.B. brauchen.
Weiß da jemand mehr?