Nvidia Jetson Orin Nano: KI-Supercomputer für 249 US-Dollar
Nvidia hat mit dem Jetson Orin Nano eigenen Angaben zufolge einen neuen kompakten generativen KI-Supercomputer vorgestellt, welcher mit einem Software-Update eine erhöhte Leistung zu einem niedrigeren Preis bietet.
Nvidia hat mit dem Jetson Orin Nano sowie dem dazugehörigen Entwicklerwerkzeug eigenen Angaben zufolge seinen neuen kompakten generativen KI-Supercomputer vorgestellt, welcher mit einem Software-Update eine erhöhte Leistung zu einem niedrigeren Preis bietet und in eine Handfläche passt. Im Vergleich zu seiner Vorgängergeneration steigt die KI-Rechenleistung so um 70 Prozent an.
Quelle: Nvidia
Auf Basis eines Arm Cortex-A78AE v8.2 mit 6 Arm-Prozessorkernen und einer integrierten Ampere-Grafikeinheit mit 1.024 CUDA-Prozessoren, welcher von 8 GiB LPDDR5 mit 102 GB/s unterstützt wird, erreicht der neue Nivida Jetson Orin Nano eine KI-Rechenleistung von 67 TOPS ("INT8") bei einer Leistungsaufnahme ("TDP") von 7 bis 25 Watt, während der Vorgänger bei 40 TOPS notierte. Wie aus dem Datenblatt (PDF) misst der Supercomputer nur 103 × 90,5 × 34,77 mm.
Quelle: Nvidia
Quelle: Nvidia
Der Nvidia Jetson Orin Nano adressiert sowohl kommerziellen KI-Entwicklern als auch Hobbyisten und Studenten, so Nvidia, und eigne sich insbesondere für die Erstellung und den Betrieb von LLM-Chatbots, KI-basierter Robotic sowie den Aufbau von visuellen KI-Agenten, heißt es in der Pressemitteilung des Herstellers.
Das neue Nvidia Jetson Orin Nano Developer Kit ist ab sofort zu einem Preis von 249 US-Dollar über die offizielle Website erhältlich.
Die Software-Updates für die Steigerung der generativen KI-Rechenleistung von bis zu 70 Prozent werden auch für die Systeme der Serien Jetson Orin NX und Orin Nano verfügbar sein, wie Nvidia jetzt ebenfalls bekannt gegeben hat.
Ihre Meinung ist gefragt!
Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich über Ihre fundierte Meinung in den Kommentaren zu dieser Meldung. Um zu kommentieren, müssen Sie auf PCGH oder im Extreme-Forum eingeloggt sein. Sollten Sie bisher noch keinen Account haben, könnten Sie sich hier unverbindlich registrieren. Wir bitten Sie, berücksichtigen Sie hierbei bitte die aktuell geltenden Forenregeln.
Quelle: Nvidia
Ich hab das mal etwas durchrechnen lassen... alleine der finanzielle Vorteil ist extrem.
Damit könnte jeder eine kleines lokales LLM laufen lassen mit einer Antwortzeit schneller als wir es lesen können.
Ich verrate lieber nicht wie schnell sich ein ganzes Buch übersetzen lassen würde (wenn ein LLM ein ganzes Buch am stück übersetzen könnte, das Aufsplitten des Textes hab ich mal weggelassen)... Profiübersetzer sollen sich schon mal so ein Teil vorbestellen.
Bei Supercomputer würde ich als allerletztes an einen Mini-PC denken. Höchstens im Vergleich, das ein heutiger Mini-PC viel mehr leistet als die ersten Supercomputer.
Und zum Thema Supercomputer, ist das nicht praktisch eine AI Beschleunigerkarte huckepack auf einem ARM Prozessor oder überseh ich was? Supercomputer ist wohl eher Nvidia Marketing sprech.