KI-Chatbot auf Ryzen und Radeon: AMD erklärt die lokale Ausführung
AMD hat eine Anleitung veröffentlicht, in der die Ausführung eines lokalen KI-Chatbots auf Ryzen-Prozessoren und Radeon-Grafikkarten erklärt wird. Dadurch müssen die gestellten Fragen nicht ins Internet übertragen werden.
Nachdem Nvidia mit Chat with RTX die Ausführung eines KI-Chatbots auf Geforce-Grafikkarten ermöglicht, hat nun auch AMD eine Anleitung veröffentlicht, um ein entsprechendes Programm zu nutzen. Demnach kann die kostenlos verfügbare Chatsoftware LM Studio sowohl auf RX-7000-Grafikkarten als auch auf AMD-Ryzen-Prozessoren ausgeführt werden. AMD nennt dabei explizit Modelle mit integriertem KI-Beschleuniger als Anforderung. Laut dem Anbieter der Software kann aber auch jede andere CPU genutzt werden, solange AVX2 unterstützt. Mit integriertem KI-Beschleuniger dürften die Antworten aber wohl deutlich schneller erfolgen. Zudem sollte das System über mindestens 16 GiByte RAM oder, bei Verwendung einer Grafikkarte, 6 GiByte VRAM verfügen.
Einfache Installation
Sind diese Bedingungen erfüllt, kann man laut AMD einfach die passende Variante der Software herunterladen. Für den Einsatz auf einer Radeon-GPU wird dabei eine speziell für ROCm angepasste Version angeboten. Nach der Installation müssen Nutzer dann wahlweise das KI-Modell Mistral 7b oder LLAMA v2 7B in der Variante Q4_K_M herunterladen und auswählen
Auf dem Prozessor ist der Chatbot laut AMD dann direkt lauffähig. Radeon-Nutzer müssen im Bedienpanel auf der rechten Seite hingegen den GPU Offload aktivieren, auf Maximum stellen und prüfen, ob die Grafikkarte tatsächlich mit AMDs ROCm angesteuert wird. Dann kann der Chatbot auch auf einer Radeon-Grafikkarte ausgeführt werden.
Quelle: AMD
In der für ROCm angepasst Software muss rechts die Nutzung der GPU aktiviert werden.
Mit Blick auf die Performance dürfte die lokale Ausführung eines Chatbots dabei wohl nicht immer mit den online verfügbaren Tools mithalten können. Laut dem Entwickler läuft LM Studio allerdings komplett lokal und überträgt zudem keine Daten. Die genannten Chatbots lassen sich damit also anonym nutzen.
Auch interessant: AMD FSR: CTO stellt KI-Einsatz in Aussicht
Im Vergleich mit Chat with RTX fehlen dem Programm allerdings einige Funktionen, etwa die Einbindung eigener Inhalte. In unserem Test funktionierte diese allerdings ohnehin mehr schlecht als recht. Solange Nvidia die Qualität der Zusatzfeatures nicht deutlich verbessert, dürfte AMD deshalb auch mit den frei verfügbaren KI-Tools gut aufgestellt sein. Vorausgesetzt natürlich, dass dabei die Performance stimmt.
Quelle: AMD (Anleitung) via Videocardz
Kann daran liegen.
Ganz ehrlich, alles unter 13B ist ziemmich schwach im Vergleich.
Deshalb aber wahrscheinlich auch nur die 6GB/16GB (V)RAM Anforderungen und nicht die üblichen 32GB RAM.
Es nicht für RDNA2 anzubieten wirkt auf mich auch künstlich begrenzt.
Funktioniert bei "Chat with RTX" nicht anders.
RDNA2 hat schlicht keine AI Cores wie RDNA3. Ein LLM über die CUs zu beschleunigen ist schlicht zu ineffizient, ineffektiv und damit zu langsam.
Kann daran liegen.
Ganz ehrlich, alles unter 13B ist ziemmich schwach im Vergleich.
Deshalb aber wahrscheinlich auch nur die 6GB/16GB (V)RAM Anforderungen und nicht die üblichen 32GB RAM.
Es nicht für RDNA2 anzubieten wirkt auf mich auch künstlich begrenzt.