KI-Infrastruktur zur Miete: Eine Million CUDA-Kerne für 105 Euro pro Stunde
Um die benötigte Performance für anspruchsvolle Workloads bereitstellen zu können, wird das Mieten von KI-Infrastrukturen immer beliebter. Ein Anbieter lockt nun mit einer Million CUDA-Kernen für knapp 100 Euro pro Stunde.
Workstation-GPUs sind teuer - insbesondere, wenn mehrere für KI-Workloads benötigt werden, kann die Investition für die Grafikkarten schnell in die Höhe schießen. Anstelle sich eine rund 6.200 Euro teure RTX 6000 Ada Generation von Nvidia zu kaufen, lassen sich diese aber schon bald mieten: Das Unternehmen LeaderGPU will als einer der ersten Anbieter die passende Infrastruktur für solche Workloads zur Miete bereitstellen. Die angebotene Konfiguration besteht aus acht der erwähnten RTX 6000 Ada Generation GPUs, zwei Intel Xeon Gold 6248R Prozessoren, 384 GiB Arbeitsspeicher sowie zwei TB SSD-Speicher.
Ab dem 30. November soll die genannte Konfiguration auf der offiziellen Webseite zur Verfügung stehen. Die Nvidia-Karte selbst arbeitet mit 18.176 CUDA-Kernen; insgesamt sind im System also 145.408 CUDA-Kerne zum Beackern der Arbeitsbelastung vorhanden. Pro GPU sind zudem 48 GiB GDDR6-RAM verbaut - zusammengerechnet also erneut 364 GiB. Die Speicherbandbreite wird indes mit 960 GB/s angegeben.
Der Preis wird indes auf 0,25 Euro pro Minute beziffert. Wer schon immer mal mit der Power von einer Million CUDA-Kernen herumspielen wollte, muss das genannte System also siebenmal in den Warenkorb packen; genauer gesagt landet man so auf 1.017.856 CUDA-Kerne. Beim genannten Minutenpreis landen Kunden hierfür auf 105 Euro pro Stunde. Eine solche Konfiguration für Spiele wie das weiterhin problematische Cities: Skylines 2 zu nutzen, empfehlen wir allerdings dennoch nicht - dafür ist die RTX 6000 Ada Generation zu sehr auf das KI-Einsatzgebiet abgestimmt, wie auch die 3DMark-Benchmarks der Workstation-GPU vom Februar 2023 belegen.
Bei einem ehemaligen Arbeitgeber haben die Konstrukteure Laufräder entwickelt (Lüfterräder zum Kühlen, nix zum draufsetzten). Die haben auch sowas gekauft.
Das ist Klar mich würden konkrete Beispiele interessieren, echte Anwendungsfälle.
2. Für den Nutzer ist ein Rechenspiel. Was kostet mich die Anschaffung + Unterhalt/Wartung/Storm und was zahle ich für die Nutzung bei einem Anbieter. Wie oft brauche ich wirklich diese Kapazität für mein Workcase/Workload?
3. Und somit wie bei eigentlich allem: Wo keine Anfrage besteht würde kein Angebot bereitgestellt.
... oder kaufst du auch ein Auto, wenn du nur ein Uber brauchst?
... oder die Post, wenn du ein Paket versenden willst?
... oder den Kebap-Stand, wenn du nur ein Würstchen bist?
*sorry: Autokorrektur*