KI-Supercomputer steckt 80 GiByte LPDDR5X in die Hosentasche
Der Tiiny AI Pocket Lab ist ein winziger KI-Supercomputer, welcher mit 12 Arm64-Prozessorkernen sowie einem 80 GiByte großen LPDDR5X-Systemspeicher bis zu 190 TOPS an KI-Rechenleistung in die Hosentasche bringen soll.
Der Tiiny AI Pocket Lab ist ein mit Abmessungen von 14,2 × 8 × 2,53 cm winziger KI-Supercomputer, welcher mit 12 Arm64-Prozessorkernen sowie einem 80 GiByte großen LPDDR5X-Systemspeicher bis zu 190 TOPS an KI-Rechenleistung in das Hosentaschenformat bringen soll. Das 300 Gramm "schwere" Leichtgewicht beschleunigt Sprachmodelle mit bis zu 120 Milliarden Parametern lokal.
Quelle: Tiiny AI
Quelle: Tiiny AI
Neben dem SoC ("System-on-a-Chip"), welches neben 12 Arm64-Prozessorkernen mit einer dedizierten NPU ("Neural Processing Unit"), dem sogenannten Neuralprozessor, aufwarten kann, bietet der Tiiny AI Pocket Lab zudem eine NVMe-SSD mit einem Terabyte an Speicherplatz. Auch große LMMs sollen damit lokal laufen.
Cloud-KI hat bemerkenswerte Fortschritte gebracht, aber sie hat auch Abhängigkeiten, Verwundbarkeiten und Herausforderungen in Bezug auf Nachhaltigkeit geschaffen. Mit Tiiny AI Pocket Lab sind wir der Meinung, dass Intelligenz nicht in Rechenzentren gehören sollte, sondern zu den Menschen. Dies ist der erste Schritt, um fortschrittliche KI wirklich zugänglich, privat und persönlich zu machen (...) — Tiiny AI —
Das winzige System, welches auf der CES 2026 offiziell vorgestellt werden soll, arbeitet laut Tiiny AI mit einer TDP von 30 Watt und erreicht damit demnach eine maximale Leistungsaufnahme von 65 Watt. Damit soll der Tiiny AI Pocket Lab die nachfolgende KI-Rechenleistung erreichen können, so der US-Hersteller.
Quelle: Tiiny AI
Weitere Informationen zum Tiiny AI Pocket Lab liefern die offizielle Website sowie die Pressemitteilung auf PR Newswire.
Ihre Meinung ist gefragt!
Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich über Ihre fundierte Meinung in den Kommentaren zu dieser Meldung. Um zu kommentieren, müssen Sie auf PCGH.de oder im Extreme-Forum eingeloggt sein. Sollten Sie bisher noch keinen Account haben, könnten Sie sich hier unverbindlich registrieren. Beachten Sie beim Kommentieren aber bitte die geltenden Forenregeln.
Quelle: Tiiny AI
Natürlich haben wir noch viel Luft in der Entwicklung nach Oben bei dem Thema. Ich meinte ja nur, was heute schon geht, ist für meinen Geschmack irre Interessant.
Zum Lernen für Fachthemen mit entsprechend spezialisierten lokalen Sprachmodellen taugt mir das auf jeden Fall schon völlig ausreichend.
Des Hosentaschending was ich faktisch meine ist meine Claw A1M. Eine Handheldconsole. Nur mit ihr alleine könnte ich meine Arbeiten machen.
Bis wir das im Handyformat hinbekommen, dauert es auf jeden Fall noch eine Weile, zumindest bei der Leistungklasse im Vergleich mit solchen modenen Prozessoren wie der Core Ultra Serie von Intel.
Mir gefällt einfach schon, was geht. Was nicht geht, vermisse ich eigentlich ja auch noch garnicht, weil es so schon viel ist was man machen kann, wenn man weis, was man möchte.
Der Hosentaschenknecht ist natürlich nicht deswegen gleich Massenfähig oder sowas in der Sache. Das ist nur für Spezl interessant im Moment noch wie es scheint.
Lass mal noch 5 Jahre ins Land verstreichen, dann werden wir das hier als Witz ansehen was die Leistungen angeht.
Das hört sich nach nix an. Ich weis. Aber da ist schon was dahinter, so ne Context Size von 16K oder die Predikt Größe auch 16k. Da kommen dann ziemlich fette Antworten dabei raus. So sehr, das ChatGPT gestern zum ersten mal auf die Antwort meiner Lokalen KI geantwortet hat, statt wie sonst auf den Output des Miniprogrammes für die Inferenzen...
So ne Antwort dauert jetzt mal 10 Minuten. Aber ich Schwöre, ich will schon mit den Testdingern Arbeiten. In der Sache Mathezeug.
Ich muss noch weiterlernen und arbeiten damit ich da mehr weis.
So ein Hosentaschending halte ich also heute für einen realistischen Begleiter im Leben. Das ist schon Verrückt was da geht.
Wenn ich jetzt diesem PC sehe, denke ich ehr im Vergleich zum Mobiltelefon. Und dein Kommentar mit dem "Hosentaschending" höre... Das Tiiny AI Pocket Lab wäre dann zwar ein Mobiltelefon, (wie z.B. Motorola DynaTAC 8000X) aber erstens eine sehr frühe Version und zweitens noch lange kein Smartphone.
Ich denke nicht das dieser Kasten hier jetzt der Bahnbrechende Tiny Computer ist den jeder haben will und muss, das Teil hat in meinem Augen wenn überhaupt Potential nen Trend für ein "Hosentaschending" auszulösen.
Das hört sich nach nix an. Ich weis. Aber da ist schon was dahinter, so ne Context Size von 16K oder die Predikt Größe auch 16k. Da kommen dann ziemlich fette Antworten dabei raus. So sehr, das ChatGPT gestern zum ersten mal auf die Antwort meiner Lokalen KI geantwortet hat, statt wie sonst auf den Output des Miniprogrammes für die Inferenzen...
So ne Antwort dauert jetzt mal 10 Minuten. Aber ich Schwöre, ich will schon mit den Testdingern Arbeiten. In der Sache Mathezeug.
Ich muss noch weiterlernen und arbeiten damit ich da mehr weis.
So ein Hosentaschending halte ich also heute für einen realistischen Begleiter im Leben. Das ist schon Verrückt was da geht.