Nvidia: Deep-Learning-Entwicklerkit TensorRT erscheint für Windows
Nvidia TensorRT, ein Open-Source-Entwickler-Kit für KI-Beschleunigung, erscheint auch für Windows und verspricht einen großen Geschwindigkeitszuwachs für PCs mit Geforce-RTX- und RTX-Pro-GPUs.
Im September dieses Jahres kündigte Nvidia das TensorRT Large-Language-Model (LLM) für Rechenzentren an, das laut Hersteller einen 8-fachen Geschwindigkeitszuwachs für Nvidias Tensor-Core-GPUs Hopper H100 und Ampere A100 bringen soll. Wer auf seinem Rechner KI-Sprachmodelle einsetzt, soll bei der LLM-Interferenz, also den Berechnungen für KI-Schlussfolgerungen, eine bis zu viermal höhere Performance erhalten.
Die KI-Beschleunigung auf Basis des TensorRT-Large-Language-Modells könnte auch den Workflow unter Windows bei Aufgaben wie dem Schreiben in Chats, dem Zusammenfassen von Dokumenten oder dem Schreiben von E-Mails bei KI-Berechnungen unterstützen. Eine Demo von Nvidia zeigt beispielsweise einen Vergleich zwischen einem vortrainierten Open-Source-KI-Sprachmodell wie LLaMa-2 und TensorRT-LLM. LLaMa-2 sammelt Daten aus allgemeinen Quellen wie Wikipedia, sodass tagesaktuelle Fragen von diesem Modell nicht beantwortet werden können.
So zeigte Nvidia in einer Tech-Demo, dass LLaMa-2 nicht in der Lage war, die in Alan Wake 2 verwendeten Nvidia-Technologien aufzulisten, während das TensorRT-Modell diese Benutzeranfrage beantworten konnte, indem es 30 Geforce-News aus einem lokalen Speicher analysierte. Dabei arbeitete TensorRT auch schneller als das LLaMa-2-Sprachmodell.
Quelle: Nvidia via Wccftech
Nvidia: Deep-Learning-Entwicklerkit TensorRT erscheint für Windows (2)
Der wohl größte Vorteil des TensorRT-Modells von Nvidia liegt daher in Form eines neuen Schedulers ("In-Flight-Batching"), der es ermöglicht, mehrere kleine Anfragen dynamisch abzuarbeiten, während große, rechenintensive Anfragen auf derselben KI-Beschleunigerkarte berechnet werden.
![[PLUS] Künstliche Intelligenz in Spielen: So funktioniert die Welt der NPCs](/screenshots/1020x/2023/03/aufmacher_kg-pcgh1.jpg)
[PLUS] Künstliche Intelligenz in Spielen: So funktioniert die Welt der NPCs
PCGH Plus: Nahezu alle Spiele setzen auf NPCs, die mit der Spielwelt interagieren. Doch wie funktioniert das eigentlich? Wir geben einen Einblick in die Welt der Pfadplanung und der Spiel-KI. Der Artikel stammt aus PC Games Hardware 04/2023.
mehr ...
Dieses optimierte Open-Source-Modell wurde von Nvidia auf Github veröffentlicht und kann von interessierten Nutzern eingesehen und heruntergeladen werden. Derzeit ist allerdings nur der Einsatz unter Linux möglich, wie aus der Anleitung auf der Github-Seite hervorgeht. Windows-Nutzer müssen entsprechend das Windows-Subsystem für Linux (WSL) verwenden.
