Instinct MI100: AMD mit 120 Compute Units auf der "schnellsten HPC-Karte"
AMD verspricht für die Instinct MI100 mit 120 Compute Units die "schnellste HPC-Karte" auf dem Markt. Die Zahlen sind auf dem Papier durchaus beeindruckend - inklusive des Preises, der aber in HPC-Ökonomie noch ein gutes Preis/Performance-Verhältnis haben soll.
AMD hat mit der Instinct MI 100 die laut eigener Aussage weltweit schnellste HPC-GPU vorgestellt. Auf der Mi100 kommt im Vollausbau ein Chip mit 120 Compute Units zum Einsatz, was sich auf 7.680 Stream-Prozessoren addiert. Zum Vergleich: Big Navi (21) in der Radeon RX 6000 wird maximal 80 Compute Units haben. AMD taktet den bei TSMC in 7 nm hergestellten Chip mit 1.502 MHz "Peak-Clock" und rechnet im Vollausbau 184,6 TFlops Peak Half Precision (FP16) Performance, 23,1 TFlops Peak Single Precision (FP32) Performance sowie 11,5 TFlops Peak Double Precision (FP64) Performance vor.
Der GPU kann auf 32 GiByte HBM-2-Speicher verteilt auf vier Stacks zugreifen, die mit 1,2 GHz Takt und 4,096 Bit Speicherinterface bis zu 1.228,8 GB/s Speichertransferleistung erlauben. Das dürfte im Gaming wohl jeden denkbaren Speicherflaschenhals auflösen, aber auch entsprechend unwirtschaftlich sein und nur ein hypothetischer Gedanke.
Die Karte ist passiv gekühlt, belegt zwei Steckplätze und hat eine Total Board Power von 300 Watt. Strom kommt über den PCI-E-4.0-Anschluss und über zwei 8-Pin-Stecker im PCI-E-Format. Maximal können auf Dual-Socket-Boards mit beispielsweise zwei Epyc zwei Mal vier Karten eingesetzt werden. Die neue Matrix Core Technologie soll vor allem bei KI-Berechnungen helfen und da bis zum 7-fache in Mixed Precision und FP16 erreichen; die Infinite Architectur soll bei GPU-zu-GPU-Transfers bis zu 4-fach schneller sein als PCI Express 4.0. Kosten: 6.400 US-Dollar das Stück. Damit soll die Karte in HPC-Ökonomie wohl noch ein gutes Preis/Performance-Verhältnis haben.
Quelle: AMD
Mittelfristig werden sich sicherlich noch andere Produkte für ihre OC-Bausteine finden, jedoch übermäßig hoch dürfte der Bedarf abseits von GPUs nicht sein. Steigen die Anforderungen an die Bandbreite und/oder an die Speicherkapazität weiter, kommt man schnell um HBM2 nicht herum, zumal sich bei höherwertigen Produkten die Mehrkosten auch leicht einpreisen lassen. Das Problem ist schlicht der Verbrauch für eine derartige Speicherlösung. Am Ende entwickelt man ein Design für ein gewisses Power Budget, bspw. 100 W oder vielleicht auch 300 W pro Karte um bis zu X Karten in einem Server unterzubringen. Wenn nun Bandbreite A und/oder Kapazität B erforderlich ist für ein konkretes Produkt, schlägt das Speichersubsystem zu sehr aufs Power Budget, sodass zu wenig Energie für den eigentlichen Chip übrig bleibt, sprich die tatsächlich realisierbare Rechenleistung wird eingeschränkt. Die Energiekosten um Bits hin und her zu bewegen, haben in den letzten Jahren im Datacenter drastisch zugenommen, schlicht, weil die Datenmenge und benötigte Bandbreite extrem angewachsen ist.
Beispielsweise: Bezüglich des GDDR6/HBM2-PHYs vergleicht Anfang 2020 Rambus das GDDR6-Design relativ, das mit dem 1,5- bis 1,75-fachen (Wafer-)Flächenbedarf und einem 3,5- bis 4,5-fachen Strombedarf ausgewiesen wird im Vergleich zu einem vergleichbaren HBM2-PHY. Man beachte, dass der Vergleich nur das PHY im Chip betrifft, also direkt auf das Power Budget des Chip anzurechnen ist. (Der Vergleich bezog sich auf exemplarisch zu erreichende 256 GiB/s und 8 GiB Kapazität, einmal mittels vier GDDR6-Chips mit 16 Gb und einmal ein einzelner 1024 Bit 2-Gbps-HBM2-Chip.) Hinzu kommt, dass auch die HBM2-Chips selbst effizienter sind; so benötigt ein einzelber 8 GiB-HBM2E-Chip etwa nur die Hälfte dessen, was vier 16 Gbps-GDDR6-Chips benötigen und der HBM2-Chip liefert dennoch zusätzlich eine etwa +40 % höhere Bandbreite. (Micron's OC-GDDR6 ist noch einmal stromhungriger. *)
Im Consumer-Segment (im HighEnd) sprechen aktuell jedoch noch die Kosten gegen eine breitgefächerte Nutzung von HBM2, wobei man sich mit den Aufwendungen, die die aktuellen GPU-Generationen betreiben **), dem Wendepunkt in der Kalkulation bereits recht nahe angenähert haben dürfte, sodass ich für die NextGen in 2022+ (RDNA3 und Hopper) ggf. im HighEnd nicht gesichert, aber zumindest mit einer höheren Wahrscheinlichkeit HBM2 erwarten würde.
*) Was möglicherweise auch der Grund sein könnte, warum eine RTX 3080 mit 20 GiB erst Anfang nächsten Jahres kommen wird, da zwanzig 8 Gb-BGAs (via Clamshell) mit diesem Speicher einfach zu sehr auf das Power Budget des Boards schlagen, d. h. nVidia wird voraussichtlich darauf warten, dass Micron von diesem neuen Speicher 16 Gb-BGAs liefern kann.
Bei der RTX 3070 hat man das Speicherproblem dagegen nicht, da man hier Standard-GDDR6 verwendet, von dem 16 Gb-BGAs schon lange verfügbar sind und die nVidia bspw. schon umfangreich auf der Titan RTX, Quadro RTX 6000 und 8000 nutzte.
**) nVidia's beträchtliche Aufwendungen mit dem OC-GDDR6, das beträchtlich aufs Power Budget schlägt und AMD verlagert die Kosten, indem die ihren Navi 21 um etwa 100 mm2 vergrößern und TSMC damit pauschal mehr Geld pro Chip bezahlen, indem sie den übergroßen InfinityCache implementieren.
Das muss bei @PCGH erst noch ankommen.
Schlussendlich könnte man schiedsrichten, dass ihr beide in gewisser Weise Recht habt.
Nvidia wird natürlich vorerst ruhe haben. Schließlich müssen alle Interessenten erstmal passende Controller aufsetzen, validieren etc.
Die Speicherproduktion soll sehr flexibel und ein Wechsel auf unterschiedliche Produkte recht schnell möglich sein. Da kann ich mir nicht vorstellen, dass Micron nicht in der Lage wäre bei entsprechenden Bedarf zu reagieren. Ist ja nicht so, dass AMD 2 Wochen vor Release sagt: "Moin brauche mal eben 1 Mio GDDR6X Chips bitte"
Zumal das für AMD vermutlich derzeit sowieso kein Thema ist. Mit dem InfinityCache hat man ja quasi das Problem Speicherbandbreite umschifft.
Bin sowieso gespannt ob der GDDR6X noch länger bleibt oder wieder in der Versenkung verschwindet.
Es ist nur so, dass es kein Exklusives Ding ist wie hier gerade behauptet wurde, sondern Micron ein Interesse hat weitere Abnehmer zu finden und auch AMD diese Verwenden könnte. (sofern die es überhaupt wollen)
Ich wäre auch nicht überrascht, dass Nvidia ein Vorzugsrecht erhält. Haben ja eine gute Partnerschafft und Nvidia ist der einzige Abnehmer, wäre doof den zu vergraulen.
Darüber hinaus, wie aus meinem vorausgegangenen Post bereits hervorgeht, könnt ihr euch durchaus über das "exklusiv" streiten, denn selbstredend will Micron mittelfristig seine Entwicklung in größerem Rahmen vermarkten und würde sie möglicherweise auch gerne als GDDR6X-Standard sehen, aber absehbar wird die aktuell schon indirekt nVidia-exklusiv sein, weil diese sich entsprechende Kontingente gesichert haben werden, da ihre Architektur (im HighEnd) zwingend darauf aufbaut, sodass sie sich hier keinen Lieferengpass erlauben können. Da von einem so neuen Speicher anfänglich erst mal nicht allzu viel gefertigt wird, wird der damit quasi durchaus nVidia-exklusiv für eine gewisse Zeit, da keine nennenswerten Mengen mehr übrig bleiben werden, sodass bspw. AMD damit kein relevantes Volumenprodukt aufsetzen könnte, denn die werden sich ihrerseits natürlich auch nicht freiwillig in eine Abhängigkeit zu einem vorerst schlecht lieferbaren Produkt begeben.
Schlussendlich könnte man schiedsrichten, dass ihr beide in gewisser Weise Recht habt.
b) nVidia-exklusiv ist das mittelfristig sicherlich nicht, aber kurzfristig wird sich nVidia sicherlich gewisse Mengen (und auch im nächsten Jahr die ersten 16 Gb-Chargen) zusichern haben lassen. Alles andere wäre abwegig. Darüber hinaus kann AMD damit voraussichtlich eh nichts anfangen, weil sie dafür speziell angepasste PHYs hätte implementieren müssen, da diese BGAs eine PAM4-Signalisierung verwenden und zumindest zum Zeitpunkt des von dir zitierten Artikels hatte Micron noch nicht einmal der JEDEC die Spezifiikation vorgelegt, wenn ich mich recht erinnere, d. h. da wird auch AMD bisher keinen tieferen Einblick gehabt haben.
Darüber hinaus spielt GDDR6 für HPC und die benötigten Bandbreiten und Kapazitäten keine nenenswerte Rolle, da hier der Verbrauch zu hoch wird. HBM hat da beträchtliche Vorteile. Beispielsweise nVidia's aktuellster A100 erreicht knapp über 2 TiB/s an Bandbreite und die Mehrkosten für HBM spielen hier nur eine untergeordnete Rolle in diesem Segment.
Es ist nur so, dass es kein Exklusives Ding ist wie hier gerade behauptet wurde, sondern Micron ein Interesse hat weitere Abnehmer zu finden und auch AMD diese Verwenden könnte. (sofern die es überhaupt wollen)
Ich wäre auch nicht überrascht, dass Nvidia ein Vorzugsrecht erhält. Haben ja eine gute Partnerschafft und Nvidia ist der einzige Abnehmer, wäre doof den zu vergraulen.