Kampf der Titanen: AMD jagt Nvidia mit dem KI-Beschleuniger Instinct MI300X
AMD präsentierte auf einem Event in San Francisco den KI-Beschleuniger Instinct MI300X - eine deutlich aufgebohrte Fassung der auf der letzten CES angekündigten Instinct MI300.
KI lohnt sich: Das Marktpotenzial der In-Technologie soll nach internen AMD-Schätzungen von heute 30 Milliarden Dollar in den nächsten vier Jahren auf 150 Milliarden Dollar steigen. Klar, dass auch AMD ein Stück vom Kuchen abhaben möchte, den bislang Nvidia mit den A100- beziehungsweise H100-Systemen für sich alleine futtern konnte. Auf der CES 2023 kündigte AMD-CEO Dr. Lisa Su bereits den KI-Beschleuniger Instinct MI300A an, im Rahmen eines AMD-Events in San Francisco gab es Neuigkeiten zu diesem Thema.
192 GByte für ein Halleluja
AMD drückt ausgewählten Partnern derzeit den Anfang des Jahres vorgestellten KI-Beschleuniger Instinct MI300A zu Testzwecken in die Hand. Der in einer Kombination aus 5- und 6-nm-Technik gefertigte Chip besitzt 24 Zen-4-Kerne und 128 GByte HBM3-Speicher, den sich CPU und GPU teilen. Die Chiplet-Künstler bei AMD stellte dies aber noch nicht zufrieden: Für eine aufgebohrte Fassung namens Instinct MI300X tauschten die Entwickler das CPU-Chiplet gegen ein viertes GPU-Chiplet aus und erhöhten die Größe des HBM3-Speichers um 50 Prozent auf 192 GByte. Mit einer Speicherbandbreite von 5,2 TByte/Sekunde und einer internen Infinity-Fabric-Bandbreite von immerhin noch 896 GByte/Sekunde überragt der MI300X Nvidias KI-System H100 faktisch gleich zweifach: Die Speicherdichte ist bis zu 2,4 Mal, die Speicherbandbreite bis zu 1,6 Mal höher.
Die 153 Milliarden Transistoren des Beschleunigers bekamen bei einer KI-Demo in San Francisco sofort etwas zu tun: Das KI-Modell Falcon 40B, das komplett in den Speicher des Systems passt, schrieb ein kurzes Gedicht über San Francisco, das sich zwar reimte, aber mit den oft desolaten Verhältnissen auf den Straßen der Stadt dann doch nicht unbedingt viel zu tun hatte. Vermutlich wurde das Modell vom Amt für Öffentlichkeitsarbeit trainiert. Spaß beiseite: Diese Demo war deswegen wichtig, weil sie das erste Mal markiert, dass das Modell im Speicher einer einzigen GPU läuft. Außerdem bringen die 40 Milliarden Parameter den Instinct MI300X noch nicht ins Schwitzen. Nach Angaben eines AMD-Mitarbeiters verkraftet der Beschleuniger sogar bis zu 80 Milliarden (!) Parameter.
Bildergalerie
ROCm gegen CUDA
So wie Nvidia beziehungsweise dessen Partner mehrere A100- oder H100-Einheiten in einem Server kombiniert, setzt auch AMD auf den mehrfachen Einsatz des Instinct MI300X. Gleich acht Stück sollen mit 1,5 TByte HBM3-Speicher nebeneinander Platz finden. Weitere Details wie der nicht ganz unwichtige Preis sind noch nicht bekannt - wohl aber, dass der Instinct MI300A schon jetzt, der Instinct MI300X ab dem dritten Quartal 2023 ausgewählten Partnern zu Tests zur Verfügung gestellt wird beziehungsweise werden soll. Im vierten Quartal soll dann die Produktion im großen Stil anlaufen. Auch zu detaillierten Benchmarks schweigt sich AMD aus. Lediglich eine Kurve, die auf der x-Achse die Zahl der KI-Parameter und auf der y-Achse die Zahl der benötigten GPUs anzeigte, signalisiert eine Halbierung der "vom Mitbewerber" benötigten GPUs mit 80 GByte RAM.
Zur Programmierung des Systems, das auf die CDNA-3-Architektur aufbaut, setzt AMD auf die bekannten Open-Software-KI-Plattformen ROCm - gesprochen "Rock 'em" - für Rechenzentren-GPUs vom Typ Instinct und Zen DNN für Rechenzentren-CPUs wie Epyc. Für Edge- und Endpunkt-Anwendungen, die auf AMDs Versal- und mobilen Ryzen-Chips laufen, kommt Vitis AI zum Einsatz. Auch etablierte KI-Modelle wie PyTorch und TensorFlow werden von AMDs Software unterstützt. Allerdings ist die Konkurrenz-Plattform CUDA von Nvidia schon seit 2007 am Start und inzwischen bereits in der Version 12.1 erhältlich - AMD muss also alles daransetzen, die eigenen KI-Beschleuniger attraktiv genug zu gestalten, damit sich Programmierer und Entwickler in eine für sie neue Plattform einarbeiten.
Irre ich mich da? Kann sein, ich hab mit Programmierung nichts am Hut, aber mir das eben genau so erklärt.
Irre ich mich da? Kann sein, ich hab mit Programmierung nichts am Hut, aber mir das eben genau so erklärt.
Allein was mittlerweile schon im Bereich Bilderbearbeitung drin ist, ist beeindruckend und das ganze wird von Woche zu Woche gefühlt immer besser.
Auch wenn eine gewisse Vorsicht bei KI sicherlich angebracht sein sollte, neben dem ganzen Guten, lässt sich damit heute schon genügend Schabernack betreiben (Deep Fake, Stimmenimitation etc.)
Dennoch, wie gesagt, ein wirklich spannendes Thema das mich an Fortschritte erinnert, die es schon lange in diesem Ausmaß im IT Bereich nicht mehr gab.