Nvidia TensorRT-LLM: KI-Beschleuniger kommt zu Windows-PCs
Bislang gibt es die KI-Beschleunigung TensorRT nur für Datacenter, inzwischen hat Nvidia den KI-Boost auch für Windows-PCs veröffentlicht. Durch TensorRT sollen sich einige Arbeiten schneller erledigen lassen.
Am 19. Oktober hat Intel angekündigt, dass die kommenden Prozessoren der Familie Core Ultra über einen KI-Beschleuniger verfügen. Bis zum Jahr 2025 sollen KI-Beschleuniger auf 100 Mio. PCs verfügbar sein. Als Core Ultra verfügen die Chips über spezielle Neural-Processing-Units, die sich um KI-Funktionen kümmern. So können KI-Features direkt im PC berechnet werden. Grafikkarten-Hersteller Nvidia kontert und hat TensorRT-LLM für Windows-PCs angekündigt. Analog zu Intel sollen so ebenfalls KI-Features beschleunigt werden. Bislang kümmern sich beispielsweise beim ChatGPT-Hersteller Open AI Server mit 285.000 CPU-Kernen und 10.000 Grafikkarten um die Berechnung der KI.
Das bietet die KI bei Nvidia
Nvidia verspricht, dass KI-Features bis zu viermal schneller laufen sollen. Hierzu werden die RTX-Grafikchips ertüchtigt, TensorRT-LLM zu beherrschen. Laut Nvidia ist der separate Download einer Erweiterung notwendig, um von der Beschleunigung mittels TensorRT zu profitieren. Seit September gibt es diesen Boost bereits für Datacenter, nun folgt die Integration in Geforce-Grafikkarten auf Windows. Ab sofort gibt es die optimierten Open-Source-Modelle zum kostenfreien Download unter developer.nvidia.com.
Bildergalerie
Mit TensorRT-LLM kommt ein neuer Scheduler namens In-Flight-Batching hinzu, welcher die Arbeitslast besser verteilen kann. So lässt sich ein Arbeitsschritt unabhängig von anderen Arbeitsschritten in die GPU ein und aus gehen. Kleinere Abfragen lassen sich dynamisch verarbeiten, während rechenintensive Arbeiten auf der gleichen GPU verarbeitet werden. So sollen sich viele alltägliche Aufgaben mittels KI beschleunigen lassen, wobei mittels Retrieval Augamanted Generation optional eine lokale Datenbank durchsucht werden kann, um die KI besser zu machen. Mal sehen, wann ChatGPT und Co. mit einer entsprechenden Funktion erscheinen. Für Gamer gibt es ebenfalls einen KI-Boost. Mit RTX VSR soll sich die Videoqualität beim Streaming verbessern. Mit Version 1.5 kommt RTX VSR auch zu Turing-Grafikkarten der RTX-20-Serie, wobei die KI bei der Bildverbesserung hilft. RTX VSR 1.5 ist Bestandteil vom Grafikkarten-Treiber Geforce Game Ready 545.84 WHQL.
Ebenfalls lesenswert: Intel prescht voran: KI-Beschleuniger sollen bis 2025 in 100 Mio. Geräte kommen
Sammlung zu Nvidia TensorRT-LLM für Windows:
- Noch vor Intel hat Nvidia angekündigt, KI-Beschleuniger auf den Windows-PC zu bringen. Mit TensorRT-LLM sollen KI-Features bis zu viermal schneller laufen.
- Hierzu werden die RTX-Grafikchips ertüchtigt, den KI-Boost zu bieten. Ab sofort gibt es die optimierten Open-Source-Modelle zum kostenfreien Download unter developer.nvidia.com.
- Mit RTX VSR soll sich die Videoqualität beim Streaming verbessern, wobei die KI-Bildverbesserung ab dem Treiber 545.84 WHQL auch für RTX-20-Grafikchips zur Verfügung steht.
Die Videoverbesserung VSR finde ich nicht so gelungen, denn die zieht auf Stufe 3 oder 4 richtig viel Strom. Auf den niedrigeren Stufen ist der Effekt sagen wir mal schmal, zumindest für mein Empfinden. Ich lasse es aus, Streaming mit 250W+ erscheint mir fehlgeleitet.