DeepSeek mit 50.000 Nvidia-GPUs? Zweifel am KI-Überflieger
Nachdem die niedrigen Entwicklungskosten des KI-Sprachmodells DeepSeek einen Schock an der Börse ausgelöst haben, gibt es Zweifel an den gemachten Angaben. Das verantwortliche Start-up nutzt wohl weit größere Rechenkapazitäten.
Das in China entwickelte KI-Sprachmodell DeepSeek v3 hat letzte Woche vor allem an der Börse für viel Aufsehen gesorgt. Angeblich drastisch niedrigere Entwicklungskosten als bei den dominierenden westlichen Modellen sorgten unter anderem bei Nvidia für einen deutlichen Kurseinbruch. Die kursierende Behauptung, dass das Sprachmodell nur mit 2.048 GPUs und Gesamtkosten von umgerechnet 6 Millionen US-Dollar trainiert wurde, ist aber offenbar nicht zutreffend.
Irreführende Angabe
Dafür spricht zumindest eine Analyse der Website Semi Analysis, in der sowohl das Unternehmen DeepSeek als auch die Technik des neuen Sprachmodells untersucht wird. Demnach verfügt das chinesische Start-up über schätzungsweise rund 50.000 KI-Beschleuniger aus Nvidias Hopper-Generation, wobei je rund 10.000 vom Typ H100 und H800 sein sollen. Und ebendiese kombinierte Rechenleistung kam wohl auch für das aktuelle v3-Modell zum Einsatz.
Die verbreitete Erzählung von niedrigen Entwicklungskosten und kaum benötigter Rechenkapazität soll sich demnach nur auf das Pretraining des Sprachmodells beziehen. Ebendieser Arbeitsschritt allein reicht aber nicht, um ein leistungsfähiges Large-Language-Modell zu erstellen - und er verursacht auch nur einen kleinen Anteil der Kosten. Passend dazu geht Semi Analysis für die gesamte Entwicklung von wesentlich höheren Summen aus. Das Modell steht wohl direkt auf den Schultern der vorherigen Rechenarbeit, und allein die Anschaffung der genutzten Hardware soll hier mehr als eine halbe Milliarde US-Dollar gekostet haben.
Passend zum Thema: DeepSeek: Geforce RTX 5090 schlägt Radeon RX 7900 XTX
Komplett aus der Luft gegriffen soll der Erfolg von DeepSeek zwar trotzdem nicht sein, denn beispielsweise mit der Multi-head Latent Attention wurde eine neue Optimierungsmöglichkeit für die gängige Multi-head Attention eingeführt. Ein noch größerer Schock für den auf Rechenleistung fokussierten KI-Hype bleibt dadurch bislang aber aus. Passend dazu hat Nvidia zumindest einen Teil des letzte Woche verlorenen Werts bereits wieder zurückgewonnen.
Was denken Sie über DeepSeek - Durchbruch oder Luftnummer? Nutzen Sie die Kommentarfunktion und teilen Sie uns Ihre Meinung mit. Zum Kommentieren müssten Sie auf PCGH.de oder im Extreme-Forum eingeloggt sein. Sollten Sie noch keinen Account haben, könnten Sie über eine Registrierung nachdenken, die viele Vorteile mit sich bringt. Beachten Sie beim Kommentieren aber bitte die gültigen Forenregeln.
Quelle: Semi Analysis (Teilweise Paywall) via Tom's Hardware
