Windows 98 mit Pentium II und 128 MiB RAM: LLM in "Extrembedingungen"

Künstliche Intelligenz ist insbesondere dafür bekannt, dass ein wachsender Bedarf an Performance und Energie für den Fortschritt notwendig wird. Die Organisation "Exo Labs", die sich dem Ziel verschrieben hat "KI zu demokratisieren", geht den umgekehrten Weg: Auf der X-Plattform zeigt der offizielle Kanal, wie das LLama 2 genannte LLM (Large Language Model) auf einem Windows-98-PC läuft, dessen Specs sich unter anderem auf einem Intel Pentium II und 128 MiB Arbeitsspeicher belaufen. Auf den Videos im etwas längeren X-Beitrag sowie dem Exo-Labs-Blog ist zu sehen, wie der 26 Jahre alte Rechner eine hauseigene C-Regelinterpreter benutzt, die auf Andrej Karpathys Llama2.c basiert. Auf Github veröffentlichte Exo Labs den zugehörigen Quellcode.

Per Textprompt wurde das LLM dazu aufgefordert, eine kurze Geschichte zu "Sleepy Joe" zu schreiben, was in einer durchaus ansehnlichen Geschwindigkeit geschieht. Die 260.000 Parameter fassende "Eigenkreation" des LLMs konnte auf dem Windows-98-Rechner immerhin 35,9 Tokens pro Sekunde generieren, was im Vergleich zu modernen Rechnern mit samt Milliarden Parameter fassender LLMs natürlich recht wenig erscheint. Die Erhöhung der Parameter wurde von Exo Labs indes bereits getestet: Bei 15 Millionen Parametern ist noch etwas mehr als ein Token pro Sekunde möglich. Das auf einer Milliarde Parameter laufende Llama 3.2 ermöglicht hingegen unter Windows 98 nur noch 0,0093 Tokens pro Sekunde.

Nutzen Sie aktiv auf KI basierende Tools? Über die Kommentarfunktion können Sie uns Ihre Meinung mitteilen. Zum Kommentieren müssten Sie auf PCGH oder im Extreme-Forum eingeloggt sein. Sollten Sie noch keinen Account haben, könnten Sie über eine kostenlose Registrierung nachdenken, die viele Vorteile mit sich bringt. Beachten Sie beim Kommentieren aber bitte die Forenregeln.

Artikel teilen

KI auf Windows-98-PC: Custom-LLM funktioniert mit Pentium 2 CPU Der Organisation Exo Labs ist es gelungen, ein auf Llama-Architektur basierendes LLM auf einem Windows-98-Rechner laufen zu lassen. Die Textgenerierung kann sich trotz Pentium II und 128 MiB RAM sehen lassen.

Per E-Mail versenden

2