Intel Gaudi 3 soll Nvidia H100 und H200 schlagen und ignoriert AMD Instinct MI300
Intel hat die hauseigene Tech-Konferenz Intel Vision 2024 dazu genutzt, seinen neuesten KI-Beschleuniger, den Intel Gaudi 3 mit 64 Tensor-Prozessorkernen und 128 GiByte HBM2e, vorzustellen und gegen Nividas H100 und H200 zu positionieren.
Intel hat die hauseigene Tech-Konferenz Intel Vision 2024 dazu genutzt, seinen neuesten KI-Beschleuniger, den Intel Gaudi 3 mit 64 Tensor-Prozessorkernen sowie 128 GiByte HBM2e, vorzustellen und offensiv gegen Nividas H100 und H200 zu positionieren. In vielen KI-Workflows sieht Intel seine neuen Produkte vor den Konkurrenzlösungen von Nvidia, während AMDs Instinct MI300X keinerlei Aufmerksamkeit geschenkt wird. Intel möchte auch ein Stück vom so gewinnbringenden KI-Kuchen abhaben und geht nun aufs Ganze.
Intel Gaudi 3 soll Nvidia H100 deutlich schlagen
Intel hat seinen Gaudi-Beschleuniger der 3. Generation mit großen Worten eingeführt und verspricht, dass Intel Gaudi 3 durchschnittlich 50 Prozent bessere Inferenzen und eine um 40 Prozent höhere Energieeffizienz als Nvidia H100. Das Ganze soll zudem "zu einem Bruchteil der Kosten" realisierbar sein, wie das US-Unternehmen betont.
Quelle: Intel
Im Rahmen der Keynote sagte Intel-CEO Pat Gelsinger, der Intel Gaudi 3 werde "Systeme mit bis zu Zehntausenden von Beschleunigern betreiben", die über ein gemeinsames Ethernet verbunden sind. Intels Gaudi 3 verspricht viermal mehr Rechenleistung für KI-Workloads ("BF16") und eine 1,5-fache Steigerung der Speicherbandbreite gegenüber seinem Vorgänger, dem Gaudi 2. Beim Fertigungsverfahren wechselt Intel von zuvor 7 auf jetzt 5 nm.
64 Tensor-Prozessorkerne und 128 GiByte HBM2e
Die technischen Spezifikationen, mit denen Intel auf Nvidias H100 und H200 zielt, lesen sich durchaus beeindruckend und stellen im Vergleich zum direkten Vorgänger einen deutlichen Schritt nach vorn dar. Insgesamt 64 Tensor-Prozessorkerne werden von 128 GiByte schnellem HBM2e-Systemspeicher flankiert, hinzu kommen acht dedizierte Matrix-Beschleuniger-Engines sowie 96 MiByte schneller SRAM mit beeindruckenden 12,8 TB/s. Gaudi 3 macht einen großer Sprung und ist der Vorgängergeneration, dem Gaudi 2, doch sehr deutlich überlegen.
Quelle: Intel
Wie sich das Ganze in den verschiedensten KI-Workflows und im Vergleich zur direkten Konkurrenz von Nvidia auswirkt, hat Intel selbstredend in den hauseigenen Hersteller-Benchmarks demonstriert. Insbesondere die im Vergleich zum Nvidia H100 bis zu 70 Prozent schnellere Trainingszeit ("Time-to-Train") bei LLAMA2 -13B hebt der Hersteller gesondert hervor, aber auch bei GPT-3 sieht sich Intel deutlich in Front.
Quelle: Intel
Auch bei den Interferenzen ("Interferencing") sieht sich Intel teils deutlich vor Nvidias H100 und in etwa auf Augenhöhe mit dem Nvidia H200, der unter Verwendung der Falcon-Parameter sogar deutlich geschlagen werden soll.
Quelle: Intel
Quelle: Intel
Wie es bereits Nvidia mit dem H100 und H200 sowie dessen Derivaten und AMD mit Instinct MI300X und MI300A vorgemacht haben, wird auch Intel mit Gaudi 3 gleich mehrere Kundelösungen anbieten, die im Laufe dieses Jahres zudem mit unterschiedlichen Kühllösungen angeboten werden sollen.
Quelle: Intel
Quelle: Intel
Quelle: Intel
Quelle: Intel
Intel Gaudi 3 soll in 2. Halbjahr in die Volumen-Produktion einsteigen und dann über OEM-Partner wie Dell, HP Enterprise, Lenovo und Supermicro verfügbar sein, während der Vorgänger Gaudi 2 bereits ab heute über die Intel Developer Cloud verfügbar ist.
Quelle: Intel
Quelle: Intel
Ihre Meinung ist gefragt!
Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich über Ihre fundierte Meinung in den Kommentaren zu dieser Meldung. Um zu kommentieren, müssen Sie auf PCGH.de oder im Extreme-Forum eingeloggt sein. Sollten Sie bisher noch keinen Account haben, könnten Sie sich hier unverbindlich registrieren. Beachten Sie beim Kommentieren aber bitte die geltenden Forenregeln.
Quelle: Intel
Wenn wir uns einen Balken ansehen, und damit die Hardwareleistung beurteilen, dann denken wir uns: warum ist AMD da nicht weiter vorne bei den Verkäufen?
Tatsache ist, dass in diesem Bereich 2 Faktoren ein vielfaches mehr zählen als nur gute Hardware: Software und Devsupport. Nvidia leistet hier leider einfach mehr als AMD.
AMD lässt um etwas weniger produzieren, aber verkauft um wie viel? Deshalb ist der reine Produktionspreis quasi irrelevant, am Ende macht es im Verkaufspreis nur geringfüfig was aus und Nvidia bleibt mehr. Relevant ist hier also nicht ob die Produktion 50€ mehr oder weniger kostet, sondern was am Ende als Produkt (damit ist Hardware, aber (s. Oben) auch Software gemeint
In dem von dir zitierten Bereich spreche ich ja explizit vom Paket, nicht von einzelnen Werten. Da hat AMD durchaus (und rein auf die Hardware nicht nur in einzelnen Werten) ein gutes Produkt.
Das ist in vielen Bereichen so. Nvidia ist das ja bekommt, man sagt ja auch schon knapp 20 Jahre man ist (auch) eine Software-Company. Das ist übrigens auch bei Intel so, dass man das so sieht.
Bei AMD kann ich das kaum beurteilen, alles was wir sehen ist, dass sie da hinterherhinken. Aber das ist ja nur eine Bubble und ich kenne keine Zahlen zu deren Personalien.
Nvidia führt hier ja auch in manchen Bereichen hauptsächlich wegen Software bzw. eigentlich eher Support.
Workstation (Quadro) etwa, da hatte AMD auch immer gute Karten, aber was Software/Support betrifft - und das ist dort oft der wichtigste Teil - ist man hinterher. Wenn man etwas zum Arbeiten nimmt, macht aber genau das den Unterschied.
Ich privat würde natürlich aufs Geld schauen - aber noch eher einfach anmieten. Und dann ist man wieder bei den Großen.
Aber im Marketing vergleicht man sich oft nicht mit allen Kontrahenten (da fehlen nämlich neben AMD und Nvidia andere auch noch), sondern eben mit dem Top-Produkt das gerade überall bekannt ist im Business.
Wenn man deine Kommentare zu intel immer liest wie gefragt usw sie sind könnte man meinen es läuft blendet bei ihnen, die Quartalszahlen sagen diesbezüglich aber immer etwas anderes. Offensichtlich gibt es hier einen großen Missmatch bezüglich deiner Wahrnehmung und der Realität.
Woraus liest du, dass ich die aktuellen Intel-Zahlen in die höhe Lobe?
Abgesehen davon: schaust du dir die Quartalszahlen an, schreibt Intel mit ihren Produkten selbst Milliardengewinne. Was diese auffrisst isst die eigene Fertigung aktuell. Die macht halt Milliardenverluste die im Moment höher sind als sonst, während gleichzeitig die Margen für ihre Produkte nicht Optimal sind. Warum haben wir ja schon vor ein paar Tagen an anderer Stelle besprochen.
Nichts desto trotz macht Intel etwa mit den CPUs immer noch satte Gewinne. Falls ich aber bei dir den Eindruck erweckt habe, dass sie schon ordentlich im HPC/AI Geschäft sind, dann tut mir das leid, man hat hier lediglich ein paar Zehen in der Tür, aber die Forscher mit denen wir uns ausgetauscht haben, sind an einer Zusammenarbeit mit Intel interessiert.
AMD ist hier einfach zu wenig präsent gewesen. Hardware hui, Unterstützung... naja das andere
Im Moment ist man eher am Verteilen um Leute ins Boot zu holen. Aber aufgrund des sehr guten Supports - und das kannst du aus verschiedenen Forschungsteams durchaus hören - herrscht reges Interesse die Zusammenarbeit fortzusetzen.
Interessant war auch ein asiatisches Team im Oktober. Nicht groß, aber eben auch nicht zu klein. Die wurden von NV quasi ignoriert, weil "zu klein" für sie, aber von Intel mit offenen Armen empfangen. Auf die AMD angesprochen wichen sie eher aus, aber es gab da wohl in der Vergangenheit reibereien.
Bei uns sieht das ähnlich aus mit AMD, wir sind für die oft nicht "interessant". Und diese Geringschätzung sorgt dann auch für gegenseitiges Desinteresse.
Das hat halt auch mit dem Volumen zu tun: Nvidia ist an Großkunden Interessiert. Intel schnappt sich grad, was auch immer sie kriegen können und AMD ist bei der Forschungszusammenarbeit an speziellen Themen interessiert. Falls du also ein Team hast, das nicht wirklich weiß, wie groß das ganze werden wird, gehst du am besten zu Intel. Die übernehmen gerne auch die Kosten. Wir haben einige Dissertanten die einfach von Intel für ihre Forschungen und Publikationen bezahlt werden
Nvidia und Intel waren hier schon vor 20 Jahren voraus.
Das sind schon immer extrem viel Punkte die in so Entscheidungen mit hineinspielen.
Aber das läuft auch nur, solange man Marktführer ist. Gäbs endlich einen ordentlich gesplitteten Markt, würde sich das für NV irgendwann nicht mehr lohnen
Logischerweise gibts halt diverse Haken.
Aber ja die SW spricht aktuell noch für Nvidia und wird auch der Grund sein wieso sich die Kunden bei AMD und intel noch zurückhalten. Aber zumindest bei der MI300X hat man gesehen, dass durchaus Interesse bei den großen Player besteht. Macht halt bei großen Stückzahlen doch erheblich was aus, wenn man weniger bezahlt.
In dem Sektor ist Geld grad außerdem eh ziemlich egal, da wird ziemlich um sich geworfen, hauptsache man bekommt was brauchbares.
Reines HPC ist wieder eine andere Geschichte (für diverse Simulationen haben wir auch Hardware von allen Playern, damit auch AMD). Ich war voriges Jahr auf 3 "internationalen" (ok, alle in den USA) Konferenzen und worauf geforscht wurde war fast immer Nvidia und ein paar Intel-Systeme.
Ich nehme natürlich an, dass letztere subventioniert/gesponsert waren. Aber das ist auch wieder sowas, das kriegt man bei AMD leider nicht mal eben so, bei Intel sofort auf Anfrage.
Wir arbeiten seit über 20 Jahren mit allen größeren Hardwareherstellern und bei Intel ging das immer recht flux.
Wenn man deine Kommentare zu intel immer liest wie gefragt usw sie sind könnte man meinen es läuft blendet bei ihnen, die Quartalszahlen sagen diesbezüglich aber immer etwas anderes. Offensichtlich gibt es hier einen großen Missmatch bezüglich deiner Wahrnehmung und der Realität.
Ich kenne an der Stelle auch keinen Bericht von intel wo sie die guten Verkaufszahlen von PV loben. Aber darfst du natürlich gerne posten, sollte es den geben. Aber ich bin mir sicher, dann hätte diesbezüglich Volker auf CB schon längst eine Lobeshymmne verfasst.
Bzw. hat AMD einige Baustellen vor allem noch in der SW. Dann stellt sich hier klar die Frage gehe ich erstmal mit mehr Personal - welches sie ja jetzt endlich haben - diese interne Baustellen an oder supporte ich extern, weil ich mir dadurch xy erhoffe?
Dann spielt hier noch die Firmenphylosphie eine Rolle, wenn man z.B. wie Nvidia immer auf Properitäre Lösungen setzt um dadurch eine Marktmacht zu etablieren?
Das sind schon immer extrem viel Punkte die in so Entscheidungen mit hineinspielen.
Logischerweise gibts halt diverse Haken.
Selbst wenn es günstiger und gleich gut wäre. Ist es aber eben nciht, aber das hat mehr mit der Softwareökonomie zu tun, Nvidia hat das überlegene Paket.
In dem Sektor ist Geld grad außerdem eh ziemlich egal, da wird ziemlich um sich geworfen, hauptsache man bekommt was brauchbares.
Reines HPC ist wieder eine andere Geschichte (für diverse Simulationen haben wir auch Hardware von allen Playern, damit auch AMD). Ich war voriges Jahr auf 3 "internationalen" (ok, alle in den USA) Konferenzen und worauf geforscht wurde war fast immer Nvidia und ein paar Intel-Systeme.
Ich nehme natürlich an, dass letztere subventioniert/gesponsert waren. Aber das ist auch wieder sowas, das kriegt man bei AMD leider nicht mal eben so, bei Intel sofort auf Anfrage.
Wir arbeiten seit über 20 Jahren mit allen größeren Hardwareherstellern und bei Intel ging das immer recht flux.
Bei manchen Firmen hat es sich aufgehört, sobald sie "groß" wurden (Apple), andere - eben Intel - ist das nicht in dem ausmaß zu Kopf gestiegen. Im Kompetitiven Umfeld ist es eben von Vorteil wenn man mal die Hardware an die Forschung verteilt.
Kann aufgehen, aber auch nicht (Mobile/Handy-Ambitionen von Intel).
Wir gehen aktuell weniger vom Willen von AMD aus, sondern davon, dass die einfach nicht das Personal haben uns zu supporten. Das war schon in der Vergangenheit so (etwa im Bereich Raytracing-Forschung als GPUGPU Anwendung die wir dann in Zusammenarbeit mit Intel und vor allem Nvidia fortsetzen mussten), aber ich hätte gehofft, dass sich das geändert hat. Hier hat Intel einfach einen Vorteil aufgrund seiner Größe - und das ist momentan auch der einzige Grund, warum ich ihnen - trotz zu spät kommen im Markt - eine Chance einrechne gegen AMD und Nvidia auftreten zu können (wohlgemerkt: mitzuspielen, nicht zu "gewinnen").
Und zumindest bei AMD fertigt man durch das Chipletverfahren auch günstiger als Nvidia.
Und wenn man ein Ausrufezeichen setzen möchte, dann hätte man sich direkt mit beiden Wettbewerbern vergleichen müssen.