KI trifft Retro-Computer: Transformer-Modell läuft mit 6 MHz
Einem Windows-Veteran ist es gelungen, ein Transformer-KI-Modell auf einem 16-Bit-Computersystem aus dem Jahre 1970 laufen zu lassen. Hierfür mussten 6 MHz und 64 Kilobyte Arbeitsspeicher ausreichen, und das taten sie.
Dem Windows-Entwickler und Veteran David William "Dave" Plummer, welcher unter anderem als Erfinder des Windows-Taskmanagers, der Zip-Datei-Unterstützung unter Windows alias "VisualZIP" sowie des Windows-Formatierungsprogrammes und des HyperCaches für Amiga-Computer gilt, ist es gelungen, ein Transformer-KI-Modell erstmalig auf einem 16-Bit-Computer aus dem Jahre 1970 laufen zu lassen. Im ausführlichen YouTube-Video demonstriert die Entwickler-Legende, wie eine Künstliche Intelligenz mit 6 MHz und 64 Kilobyte Speicher lauffähig ist.
Dave Plummer verwendete eine PDP-11 der Digital Equipment Corporation ("DEC"), die über ein Universelles-Bus-System ("Unibus") verfügt, über welches der bis zu 6 MHz "schnelle" 16-Bit-Prozessor sowie die 64 Kilobyte Arbeitsspeicher miteinander kommunizierten, um "Attention 11" in Assemblersprache auszuführen.
Oberflächlich betrachtet scheint die Aufgabe, welche die PDP-11 "lernen" wird, elementar zu sein - eine Sequenz von acht Ziffern umzukehren. Das Modell muss jedoch eine strukturelle Regel "lernen", um für jeden gegebenen Input erfolgreich zu sein, von dem Dave argumentiert, dass er die Seele widerspiegelt, wie moderne LLMs wie beispielsweise ChatGPT funktionieren. Dass das Retro-Computersystem, welches seinerzeit anfänglich noch mit Lochstreifenkarten arbeitete, dazu überhaupt in der Lage sein würde, ist durchaus beeindruckend und interessant zu sehen.
Hier nimmt eine einzelne Person eine Klasse von Algorithmen, welche die Welt derzeit wie ein heiliges Feuer behandelt, und beweist, dass zumindest ihr Wesen reduziert, verstanden, implementiert und auf einem Computer trainiert werden kann, welcher alt genug ist, um sich noch an Zeiten zu erinnern, als die Software noch mit Kippschaltern und Ringbüchern ausgeliefert wurde. — David William "Dave" Plummer
Letztlich konnte der Entwickler das Experiment erfolgreich abschließen. Nach ungefähr 350 Trainingsschritten konnte die PDP-11 die Nummernumkehraufgabe mit 100 Prozent Genauigkeit erreichen, wofür eine Trainingszeit von etwa dreieinhalb Minuten nötig gewesen ist, so Dave Plummer in seinem Video.
Ihre Meinung ist gefragt!
Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich über Ihre fundierte Meinung in den Kommentaren zu dieser Meldung. Um zu kommentieren, müssen Sie auf PCGH.de oder im Extreme-Forum eingeloggt sein. Sollten Sie bisher noch keinen Account haben, könnten Sie sich hier unverbindlich registrieren. Beachten Sie beim Kommentieren aber bitte die geltenden Forenregeln.
Quelle: Dave Plummer via Tom's Hardware
Edit: Achso, der Mann im Artikel. Ich dachte du hättest die Redakteure durcheinander gebracht.
Aber schon geil was der da gemacht hat... auch wenn ich es nicht verstanden habe.
Universelles-Bus-System ("Unibus")
Ist aber ein kleiner Unterschied in der Abkürzung und 30 Jahre in der Technik.