KI-Entwickler kauft 80.000-Dollar-Hardware für 7.500 Euro - inklusive 960 GiB DDR5-RAM
Ein KI-Entwickler berichtet in seinem Blog, wie er ein ausrangiertes Grace-Hopper-System von Nvidia für einen Bruchteil der Ursprungskosten ergattert hat.
Auf der Suche nach einem vergleichsweise "günstigen" Rechner zum Betreiben eines großen LLM (Large Language Model) mit mehr möglichen Parametern als bei Consumer-Hardware, ist der KI-Entwickler David Noel Ng Anfang des Jahres auf ein Reddit-Gebrauchtangebot gestoßen, das zu gut schien, um wahr zu sein: Eine von einem Wiederverkäufer von Serverausrüstung angebotene Grace-Hopper -Plattform von Nvidia sollte nur 10.000 Euro kosten, obwohl die angebotene Hardware für den professionellen Einsatz normalerweise niedrig geschätzt etwa 80.000 US-Dollar (umgerechnet rund 68.240 Euro) und damit ein Vielfaches kosten würde, berichtet er in seinem Github-Blog.
Dabei merkt der KI-Entwickler auch an, dass allein die beiden H100-Chips des Systems für gewöhnlich "jeweils etwa 30.000 bis 40.000 Euro kosten" und entsprechende Systeme in der Regel weit über 100.000 US-Dollar, ausschließlich verfügbar für Rechenzentren und Forschungseinrichtungen. Wie gut das trotz anfänglicher Zweifel zustande gekommene und letztlich sogar auf 7.500 Euro heruntergehandelte Geschäft war, zeigt sich auch an den mittlerweile explodierten Arbeitsspeicherpreisen: Denn abseits der teuren Nvidia-Chips und der übrigen Hardware ist der im System enthaltene LPDDR5X-Speicher mit 960 GiB mittlerweile mehr wert als früher im Jahr für das gesamte System bezahlt wurde, wie der KI-Entwickler kürzlich in einem Blog-Beitrag ergänzt hat. Die komplette Hardware besteht indes aus:
- 2 × Nvidia Grace-Hopper-Superchip
- 2 × 72-Kern-Nvidia-Grace-CPU
- 2 × Nvidia Hopper H100-GPU
- 2 × 480 GiB LPDDR5X-Speicher mit ECC
- 2 × 96 GiB HBM3-Speicher
- 1.152 GB Schnellzugriffsspeicher ("fast-access memory")
- NVLink-C2C mit 900 GB/s
- programmierbare TDP von 1.000 bis 2.000 W (CPU + GPU + Speicher)
- 1 × "hocheffizientes" 3.000-W-Netzteil, 230 bis 48 V
- 2 × PCI-E-Gen4-M.2-22110/2280-Steckplätze auf der Platine
- 4 × FHFL PCI-E Gen5 x16
Dass das Grace-Hopper-System so günstig veräußert wurde, soll damit zusammengehangen haben, dass es ein paar "Probleme" aufwies, weswegen es auf dem Gebrauchtmarkt nicht die besten Chancen gehabt haben soll. Insbesondere handelt es sich um ein sogenanntes "Frankensystem", also einen Umbau vom Ursprungszustand, bei dem von Flüssigkeitskühlung auf Luftkühlung umgerüstet wurde. Außerdem soll alles etwas chaotisch und unsauber ausgesehen haben, das System nicht für den Einbau in ein Server-Rack gewesen sein und es wurde mit einer 48-Volt-Stromversorgung betrieben.
In dem langen Blog-Beitrag gibt der KI-Entwickler und Hardware-Bastler einen umfangreichen Einblick darin, wie er das System letztlich für seine Zwecke fit gemacht hat. Mit zusätzlichen Kosten für gebrauchte SSDs, Flüssigkeitskühler und weitere Materialien kam er demnach letztlich auf Kosten von 8.930 Euro. Angesichts der ergatterten Hardware handelt es sich aber in jedem Fall um ein Schnäppchen und das letztlich sogar ziemlich schick umgebaute System soll bei LLM-Ausführung auch deutlich performanter sein, als die zuvor von ihm genutzte Geforce RTX 4090 im Quad-Verbund.
Quelle: David Noel Ng @ Github
KI-Entwickler kauft 80.000-US-Dollar-Hardware für 7.500 Euro - inklusive 960 GiB DDR5-RAM
Quelle: via Tom's Hardware
Ihre Meinung ist gefragt!
Was sagen Sie zu dem kuriosen Schnäppchen? Nutzen Sie die Kommentarfunktion und teilen Sie uns Ihre Meinung mit. Beachten Sie beim Kommentieren aber bitte die Forenregeln. Folgen Sie uns außerdem für Neuigkeiten in der Hardware-Welt oder unsere exklusiven Inhalte gern auf Whatsapp und X. Unsere Video-Inhalte finden Sie auch bei Youtube, Instagram und Tiktok.
Holla die Waldfee
So ein Teil kann wahrscheinlich wirklich nur Ki, vermutlich läuft da nicht mal Windows drauf.