Nvidias Chat with RTX im Test: Wir trainieren die KI mit allen PCGH-Heften

"Hold my Druckerpresse", habe ich mir als Printjournalist gedacht, als ich Chat with RTX von Nvidia entdeckt hatte. Denn Dokumente haben wir bei PCGH genug, und zwar alle Heftausgaben der letzten 20 Jahre als PDF, die ich dem Text-KI-Chatbot zum Fraß vorgeworfen habe, sodass ich ein Masterbrain-Chat mit dem geballten Redaktionswissen erschaffen konnte. Dachte ich zumindest. Wie gut das funktioniert, dazu gleich mehr. Die aktuelle Demo von Chat with RTX ist frei herunterladbar und funktioniert mit einem LLM, also Large Language Model, so wie man es von ChatGPT her kennt. Die KI kann mit Word-Dateien, also .doc, PDFs oder .txt-Dateien umgehen und den Inhalt auslesen. Im Chat soll sie dann erzählen können, was drinsteht, so einfach ist das. Eigentlich. Außerdem kann das Tool Links auslesen, besser gesagt, die Transkripte davon, sofern erhältlich. Die Videos selbst, also alles, was gezeigt wird, können nicht ausgewertet werden. Dafür kann man gleich ganze Playlists einspeisen.

Installation und Training: dauert

Quelle: PCGH Chat with RTX: Trainingsdokumente haben wir genug :) Für den Chatbot braucht es eine RTX-Grafikkarte der 3000er- oder 4000er-Generation mit mindestens 8 GiB VRAM, denn das Ganze läuft lokal auf dem Rechner. Das LLM (Large Language Model), die erstellten Trainingsdaten und natürlich der Datensatz brauchen Platz auf einem Laufwerk. Nvidia gibt hier 100 Gigabyte an benötigten Platz an. Aktuell sind es noch deutlich weniger, die Anwendung selbst belegt allein circa 30 Gigabyte und das variiert natürlich je nach Größe des Datensatzes und der dazu erstellten Trainingsdaten.

Fürs erste Ausprobieren empfiehlt es sich, den Datensatz vorerst kleinzuhalten. Nun erwähnt Nvidia zwar, dass das Modell besser funktioniere, je mehr Daten es einverleibt hat. Aber um loslegen und herumspielen zu können, beschränkt man sich besser auf wenige Megabytes. Unser komplettes Heftarchiv hat in der kleinsten PDF-Variante ein Volumen über 12,7 GB. Die KI verbrachte über drei Stunden damit, alles einzulesen und erstellte dazu Daten über knapp zwei GB.

Ist die KI entsprechend trainiert, kann der Dialog mit dem Chatbot losgehen und funktioniert auch relativ verzögerungsfrei. Anschließend wird im Chat auch keine GPU-Last mehr erzeugt.

Die KI ist noch keine

Nun konnte ich es kaum erwarten, im Datenschatz von über 20 Jahren PCGH zu wühlen. Schnell stelle ich fest, dass die deutsche Eingabe zwar verstanden wird, aber schlechtere Ergebnisse liefert als die gleiche Frage in Deutsch. Die Informationen, die der Bot wiedergibt, stimmen an sich zwar oft, beantworten aber nur selten die gestellte Frage richtig. Daher stelle ich zunächst nur Fragen, deren Antworten ich in etwa weiß und beurteilen kann, ob sie auch stimmen. Aber hier ist offensichtlich, dass das PDF-Archiv aller 2017er-Hefte nicht die richtige Quelle über alle SSDs von 2019 sein kann.

Quelle: Nvidia Chat with RTX by Nvidia (1) Nvidia räumt ein, dass sich der Chatbot nicht die Chat-Historie merkt, man also nicht etwa wie bei ChatGPT einen Kontext aus vorherigen Frage-Antwort-Paaren herstellen kann. Jede Frage muss für sich also schlüssig sein, sonst verweigert der Bot gänzlich die Antwort. Hier findet er zwar eine, jedoch offensichtlich nicht die richtige.

Nun sind SSDs stets mit Noten und Transferraten verknüpft, aber um dem Chat so eine Referenz abzuringen, dazu gehört offensichtlich einfach Glück. Vielleicht sind innerhalb 20 Jahren auch einfach zu viele SSDs getestet worden, durchaus mit unterschiedlichen Methoden und Benotungen, daher werden wir in der nächsten Stichprobe etwas konkreter. Was die schnellste externe SSD angeht, so hat die KI doch tatsächlich die aktuell schnellste gefunden - eine Samsung Portable SSD X5, welche per Thunderbolt angebunden ist und mit ca. 2.000 MB/s daher schnöde USB-SSDs überflügelt. Das blinde Huhn hat endlich ein Korn gefunden. Ebenso scheitert der Chatbot an Aufgaben, die eine simple Volltextsuche leistet. Wie oft etwa ein Redakteur beim Namen in den PDFs genannt wird, weiß er ebenso wenig, über wie viele Seiten die jeweiligen PDFs verfügen.

Quelle: Nvidia Chat with RTX by Nvidia (2) Nun kann ich es mir nicht verkneifen, die Nvidia-Software zu fragen, welcher Hersteller die besten GPUs bietet. Abgesehen davon, dass die RX 6750 XT die leistungsfähigste Grafikkarte sein soll, drückt sich der Chatbot in der ultimativen Frage sehr diplomatisch aus. Aber wahrscheinlich auch nur deswegen, weil er die Antwort auf eine ähnliche Frage irgendwo gefunden hat und stumpf wiedergibt, anstatt sie anhand der zahlreichen Leistungstests oder Benotungen an Grafikkarten im Heft selbst zu bewerten.

Quelle: Nvidia Chat with RTX by Nvidia (3)

Unfreiwillig komisch

The script is about a person named Sydney Youngblood who is trying to use an AI named RTXUnser Video zu Chat with RTX habe ich außerdem transkribiert, natürlich nicht selbst, sondern auch mithilfe einer KI - Whisper AI ist im Speech-to-Text ziemlich gut. Dabei haben wir die Audiospuren der ungeschnittenen Rohfassung auswerten lassen, was für ein noch frühreifes KI-Modell umso mehr eine Herausforderung ist. Den nahezu fehlerfrei transkribierten Text haben wir sowohl ChatGPT als auch Chat with RTX zur Auswertung kredenzt. Dabei bot der Platzhirsch eine tadellose und erstaunlich gute Zusammenfassung.

ChatGPT: "Das Video skizziert den Test und die Nutzung einer KI-Anwendung namens "Chat with RTX", die es ermöglicht, mithilfe einer RTX-Grafikkarte Dokumente zu verarbeiten und darüber zu chatten. Der Fokus liegt dabei auf der Fähigkeit der KI, aus PDF-Dokumenten und YouTube-Video-Transkripten Wissen zu extrahieren und auf Anfragen zu reagieren. Es werden verschiedene Experimente durchgeführt, um die Effektivität und Zuverlässigkeit von "Chat with RTX" zu bewerten, darunter die Verarbeitung von PDF-Archiven der letzten 20 Jahre und YouTube-Video-Transkripten. Die Ergebnisse zeigen gemischte Erfolge; während die KI in einigen Fällen korrekte und nützliche Antworten liefert, scheitert sie in anderen Fällen daran, relevante oder genaue Informationen bereitzustellen. Die Autoren kommen zu dem Schluss, dass "Chat with RTX" zwar Potenzial hat, aber noch nicht zuverlässig genug ist, um komplexe Anfragen präzise zu beantworten. Die KI ist eher für Unterhaltungszwecke geeignet als für ernsthafte Rechercheaufgaben. Dennoch ermutigen sie die Zuschauer, die Anwendung selbst auszuprobieren und ihre Erfahrungen zu teilen, in der Hoffnung auf zukünftige Verbesserungen."

Und Chat with RTX sorgte im Büro immerhin für einige harte Lacher: "The script is about a person named Sydney Youngblood who is trying to use an AI named RTX to chat with the content of documents. The AI is designed to take in documents and chat with their content, but it has some limitations. It cannot put things together, evaluate content, or pull out metadata. It can only chat with the content of the documents. The person is trying to use the AI to get information from multiple documents, but it is only able to chat with the content of one document at a time. The person is also trying to use the AI to get information from a specific document, but it is not able to find the information they are looking for. The script is about the person's experience with the AI and their attempts to use it to get information from documents."

Im Transkript ist tatsächlich Sydney Youngblood erwähnt. Moderatorin Santi singt gern "sit and wait" in Technikpausen während des Drehs. Nun war das bei Weitem nicht die einzige themenfremde Erwähnung im Text, die ChatGPT konsequent herausgefiltert hat. Abgesehen von Mr. Youngblood ist aber der Rest der Zusammenfassung zutreffend, wenn auch bei Weitem nicht so eloquent und ausführlich wie die von ChatGPT. Mehr als einen Zweizeiler kann man aktuell Chat with RTX auch nicht abringen.

Artikel teilen

Nvidias Chat with RTX im Test: Wir trainieren die KI mit allen PCGH-Heften Chat with RTX ist eine KI, die mit Textdateien gefüttert und mit der dann über den Inhalt gechattet werden kann. Also ein lokales, GPU-beschleunigtes ChatGPT, trainiert nur mit eigenen Inhalten. Und weil wir Texte und Grafikkarten genug haben, wollten wir das von PCGH mal ausprobieren.

Per E-Mail versenden

16

1. Seite 1 Einleitung, Installation und Hefttraining
2. Seite 2 Youtube-Transkripte einlesen und Testfazit