HC1: Effizienz-Monster soll Nvidia ohne Speicher deklassieren

25
News Sven Bauduin Als bevorzugte Quelle auf Google hinzufügen
HC1: Effizienz-Monster soll Nvidia ohne Speicher deklassieren
Quelle: Taalas

Der Taalas HC1 ist mehr als ein KI-Beschleuniger, er ist Sprachmodell in einem Chip. Das kanadische Start-up gießt Llama 3.1 in Silizium und erschafft damit ein Effizienz-Monster, welches AMD und Nvidia deklassiert und das ganz ohne RAM.

Der Taalas HC1 ist mehr als nur ein KI-Beschleuniger, er ist Sprachmodell, ein sogenanntes LLM ("Large Language Model") in einem Chip. Das kanadische Start-up Taalas gießt Llama 3.1 mit 8 Milliarden Parametern ("8B") in Silizium und erschafft so ein Effizienz-Monster, welches AMD und Nvidia förmlich deklassiert und das ganz ohne RAM. Der Taalas HC1 könnte der "Mining-Moment" im KI-Segment sein.

Taalas HC1 (1) (2) Quelle: Taalas Denn genauso wie spezialisierte FPGAs und ASICs seinerzeit klassische GPUs aufgrund ihrer Effizienz als Mining-Rig abgelöst haben, könnte der Taalas HC1 auch KI-Beschleuniger aufgrund seiner radikalen Spezialisierung möglicherweise in den Ruhestand schicken. Der HC1 basiert auf einem 6-nm-ASIC von TSMC, rund 53 Milliarden Transistoren auf 815 mm², und verspricht schier Unglaubliches.

Taalas HC1 (1) (1) Quelle: Taalas Die Entwicklung und Fertigung des ersten Taalas HC1 soll laut dem kanadischen Hersteller in etwa 30 Millionen US-Dollar gekostet haben, was in etwa dem Preis von zehn Blackwell-NVL72-Racks von Nvidia entspricht. Doch deren 720 B200-GPUs sollen sich gemessen an Token pro Sekunde durch nur 15 Taalas HC1 ersetzen lassen, denn dieser liefert demnach unglaubliche 17.000 Token pro Sekunde.

  • Nvidia Blackwell H200: 230 Token pro Sekunde
  • Nvidia Blackwell B200: 353 Token pro Sekunde
  • Taalas HC1: 16.960 Token pro Sekunde

*) mit Llama 3.1 8B

Selbst im Vergleich mit der aktuell schnellsten Hardware-Lösung von Cerebras, die etwa 2.000 Token pro Sekunde mit Llama 3.1 8b liefern kann, wäre der Taalas HC1 um Welten voraus. Das wiederum wäre keine Revolution, sondern eine KI-Eruption.

Der Taalas HC1 ist ein hoch spezialisierter ASIC, der darauf ausgelegt ist, ein spezifisches KI-Modell, in dem Fall Llama 3.1 8B, direkt in die Hardware einzubrennen. Anstatt das KI-Modell als Software in den Speicher zu laden, werden die Gewichte und die Parameter des neuronalen Netzes permanent in das Silizium des Chips eingeätzt.

Im direkten Vergleich zu klassischen GPUs und KI-Beschleunigern soll der Taalas HC1 die nachfolgenden Vorteile bieten:

  • Hohe Effizienz: Durch die "Hardwired Intelligence" entfällt der Datentransfer zwischen Speicher und Recheneinheit, was den Energieverbrauch massiv senkt.
  • Spezialisierung: Im Gegensatz zu GPUs, die Allzweck-Beschleuniger sind, ist der HC1 nur für ein einziges Modell nutzbar. Taalas plant jedoch, innerhalb von zwei Monaten für jedes neue Modell einen entsprechenden Chip produzieren zu können.
  • Bauweise: Der Chip basiert auf einem 6-nm-Prozess von TSMC und vereint rund 53 Milliarden Transistoren auf einer Fläche von 815 mm². Er benötigt keine aufwendige Kühlung wie HBM-Speicher oder Wasserkühlung.

Ziel sind riesige (KI-)Rechenzentren, deren Inferenzkosten aktuell explodieren. Wenn Taalas recht behalten sollte, wird KI-Inferenz zukünftig nicht mehr primär auf GPUs, sondern auf spezialisierten ASICs durchgeführt.

Da die Gewichtsparameter, in dem Fall von Llama 3.1 8B, komplett im ASIC stecken, ist zudem kein externer Speicher erforderlich. Damit könnten die Speicherkosten für KI-Inferenz signifikant reduziert werden. Ein Hoffnungsschimmer in der Speicherkrise.

Für die Umsetzung eines speziellen KI-Modells in Hardware veranschlagt Taalas aktuell in etwa zwei Monate, um macht damit klar, dass das kanadische Unternehmen hinsichtlich der LLMs durchaus flexibel aufgestellt ist. Informationen zum Preis oder zur Verfügbarkeit liegen indes bislang nicht vor.

Weitere Informationen liefert die offizielle Website des Herstellers.

Ihre Meinung ist gefragt!

Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich über Ihre fundierte Meinung in den Kommentaren zu dieser Meldung. Um zu kommentieren, müssen Sie auf PCGH.de oder im Extreme-Forum eingeloggt sein. Sollten Sie bisher noch keinen Account haben, könnten Sie sich hier unverbindlich registrieren. Beachten Sie beim Kommentieren aber bitte die geltenden Forenregeln.

Quelle: Taalas via Notebookcheck

25

    • Kommentare (25)

      Zur Diskussion im Forum
      • Von empy Lötkolbengott/-göttin
        Zitat von PCGH_Torsten
        Ich glaube nicht, dass sie die Gewichtungen fest verdrahten können. Dann hätten sie nicht nur den Funktionsablauf des Modells fest verdrahtet, sondern auch dessen komplettes Training. Also sowohl den Stil der Antworten als auch deren kompletten Inhalt: Nachlernen unmöglich, Anpassung an bestimmte Einsatzbedingungen unmöglich. Und damit letztlich genau der firmenspezifische KI-Einsatz, für deren Ausführung sich jemand solche Beschleuniger kaufen könnte.
        Naja, wie du ja selbst angemerkt hast, ist die Alternative quasi ausgeschlossen. Es wird wohl einen Kontext-Cache geben, ansonsten wird bei KIs ja meines Wissens nach eh anhand der Gewichte gewichtet gewürfelt. Für eine Varianz bei der Ausgabe, müssten sich die Gewichte also nicht ändern. Dass ein Nachlernen unmöglich ist, ist ja ein implizierter Trade-Off. Was spezifische Einsatzgebiete angeht, ist das Produkt, das sie eigentlich anbieten wollen, eine möglichst kurze Lieferkette für Chips an, die angepasste Modelle abbilden. Der Chip aus dem Artikel ist ja quasi nur eine Tech-Demo.
        Zitat von PCGH_Torsten
        Bezüglich einer Kombination aus FPGA und externem Speicher:
        Ich meinte keine Kombination aus FPGAs und externem Speicher, sondern FPGA-internen Speicher statt externem Speicher.
        Zitat von PCGH_Torsten
        Und eben verdammt schwer auf große Modelle zu skalieren, weil DRAM-Prozesse nicht mit leistungsfähiger Logik kompatibel sind, man also auf schweine teuren SRAM setzen und zusätzlich auch noch die Penalty großer Monolithen schlucken muss.
        Wie gesagt, soo schweineteuer ist SRAM im Vergleich zu HBM schätzungsweise ja nicht. Aber ja, am Ende steht und fällt das ganze mit der Frage, ob man so einen Aufbau monolithisch betreiben muss.
        Zitat von PCGH_Torsten
        8B, dass Taalas nach eigenen Aussagen eben auch nur mit ~geviertelter Genauigkeit implementiert, ist gerade einmal ein Fünfzigstell des Maximalausbaus von Llama 3.1 und Llama 3.1 wiederum war 2024 ein brauchbares, aber nicht überragendes Modell. ChatGPT wird aktuell auf 1 bis 2 Billionen Parameter geschätzt, also Faktor 1.000 über dem von Taalas realisierten, schon sehr großen Chip. Wenn den Aufbau eines Modells in Hardware widerspiegelt gibt es vermutlich auch keine Möglichkeit, durch Aufteilung in spezialisierte Experten Speicherplatz einzusparen, da man eben nicht einfach einen anderen Modellteil laden kann.
        Naja, man könnte halt entsprechende Chips fertigen, die nur die Expertendaten beinhalten. Ich weiß aber nicht, ob man jetzt einen großen Chip genommen hat, weil man musste oder weil das für einen ersten Test einfach einfacher war. Damit steht und fällt ja wie gesagt einiges.
        Zitat von PCGH_Torsten
        Funfact: ChatGPT weiß nicht, wie ChatGPT läuft, sondern muss im Web nach externen Schätzungen suchen. Wir sind wohl doch noch ein Stück von künstlichem Bewusstsein entfernt.
        Nie vergessen, dass LLMs eigentlich nichts anderes machen, als das nächste, passende Wort zu raten. Erste Tests mit visuellen Aufgaben, die schon Kleinkinder ziemlich problemlos lösen können, stellen LLMs vor riesige Hürden. Stichwort BabyVision-Benchmark.
        Zitat von PCGH_Torsten
        Bei der Ungenauigkeit und Fehlerrate, die derzeit bei KIs akzeptiert wird: Definitiv. Es arbeiten auch schon viele Start-Ups daran. Aber da wird es dann richtig schwierig mit der Programmierbarkeit.
        Ja, im Vergleich mit FP4 sowieso, aber auch allgemein. Die Genauigkeit ist wohl typischerweise zwischen drei und vier Dezimalstellen, also vergleichbar mit 10 bis 13 Bit, also auf einem Niveau mit FP16 (10+1 Bit Mantisse), dafür bleiben aber Rundungsfehler aus, die sich in vielen digitalalgorithmischen Ansätzen schon gehörig aufsummieren können. Dafür wiederum hat man bei Schaltungen mit langen Wegen irgendwann Dämpfungseffekte.
        Zitieren
      • Von empy Lötkolbengott/-göttin
        Zitat von PCGH_Torsten
        Ich glaube nicht, dass sie die Gewichtungen fest verdrahten können. Dann hätten sie nicht nur den Funktionsablauf des Modells fest verdrahtet, sondern auch dessen komplettes Training. Also sowohl den Stil der Antworten als auch deren kompletten Inhalt: Nachlernen unmöglich, Anpassung an bestimmte Einsatzbedingungen unmöglich. Und damit letztlich genau der firmenspezifische KI-Einsatz, für deren Ausführung sich jemand solche Beschleuniger kaufen könnte.
        Naja, wie du ja selbst angemerkt hast, ist die Alternative quasi ausgeschlossen. Es wird wohl einen Kontext-Cache geben, ansonsten wird bei KIs ja meines Wissens nach eh anhand der Gewichte gewichtet gewürfelt. Für eine Varianz bei der Ausgabe, müssten sich die Gewichte also nicht ändern. Dass ein Nachlernen unmöglich ist, ist ja ein implizierter Trade-Off. Was spezifische Einsatzgebiete angeht, ist das Produkt, das sie eigentlich anbieten wollen, eine möglichst kurze Lieferkette für Chips an, die angepasste Modelle abbilden. Der Chip aus dem Artikel ist ja quasi nur eine Tech-Demo.
        Zitat von PCGH_Torsten
        Bezüglich einer Kombination aus FPGA und externem Speicher:
        Ich meinte keine Kombination aus FPGAs und externem Speicher, sondern FPGA-internen Speicher statt externem Speicher.
        Zitat von PCGH_Torsten
        Und eben verdammt schwer auf große Modelle zu skalieren, weil DRAM-Prozesse nicht mit leistungsfähiger Logik kompatibel sind, man also auf schweine teuren SRAM setzen und zusätzlich auch noch die Penalty großer Monolithen schlucken muss.
        Wie gesagt, soo schweineteuer ist SRAM im Vergleich zu HBM schätzungsweise ja nicht. Aber ja, am Ende steht und fällt das ganze mit der Frage, ob man so einen Aufbau monolithisch betreiben muss.
        Zitat von PCGH_Torsten
        8B, dass Taalas nach eigenen Aussagen eben auch nur mit ~geviertelter Genauigkeit implementiert, ist gerade einmal ein Fünfzigstell des Maximalausbaus von Llama 3.1 und Llama 3.1 wiederum war 2024 ein brauchbares, aber nicht überragendes Modell. ChatGPT wird aktuell auf 1 bis 2 Billionen Parameter geschätzt, also Faktor 1.000 über dem von Taalas realisierten, schon sehr großen Chip. Wenn den Aufbau eines Modells in Hardware widerspiegelt gibt es vermutlich auch keine Möglichkeit, durch Aufteilung in spezialisierte Experten Speicherplatz einzusparen, da man eben nicht einfach einen anderen Modellteil laden kann.
        Naja, man könnte halt entsprechende Chips fertigen, die nur die Expertendaten beinhalten. Ich weiß aber nicht, ob man jetzt einen großen Chip genommen hat, weil man musste oder weil das für einen ersten Test einfach einfacher war. Damit steht und fällt ja wie gesagt einiges.
        Zitat von PCGH_Torsten
        Funfact: ChatGPT weiß nicht, wie ChatGPT läuft, sondern muss im Web nach externen Schätzungen suchen. Wir sind wohl doch noch ein Stück von künstlichem Bewusstsein entfernt.
        Nie vergessen, dass LLMs eigentlich nichts anderes machen, als das nächste, passende Wort zu raten. Erste Tests mit visuellen Aufgaben, die schon Kleinkinder ziemlich problemlos lösen können, stellen LLMs vor riesige Hürden. Stichwort BabyVision-Benchmark.
        Zitat von PCGH_Torsten
        Bei der Ungenauigkeit und Fehlerrate, die derzeit bei KIs akzeptiert wird: Definitiv. Es arbeiten auch schon viele Start-Ups daran. Aber da wird es dann richtig schwierig mit der Programmierbarkeit.
        Ja, im Vergleich mit FP4 sowieso, aber auch allgemein. Die Genauigkeit ist wohl typischerweise zwischen drei und vier Dezimalstellen, also vergleichbar mit 10 bis 13 Bit, also auf einem Niveau mit FP16 (10+1 Bit Mantisse), dafür bleiben aber Rundungsfehler aus, die sich in vielen digitalalgorithmischen Ansätzen schon gehörig aufsummieren können. Dafür wiederum hat man bei Schaltungen mit langen Wegen irgendwann Dämpfungseffekte.
        Zitieren
      • Von PCGH_Torsten Kokü-Junkie (m/w)
        Zitat von empy
        Naja, wenn HBM drei mal so teuer ist wie "normaler" DRAM, ist SRAM, aus dem FPGAs ja im Endeffekt hauptsächlich bestehen, schon nur noch etwas mehr als doppelt so teuer. So viel höher müsste die Effizienz dann auch nicht mehr sein, damit sich das lohnt. Könnte halt sein, dass man das nicht in einen Chip bekommt, könnte aber eben halt auch sein, dass man das gar nicht muss.

        Ich denke mal, dass man keine Speicherzellen für die Gewichte braucht, wenn die fix sind. Nur noch Leitungen zur Versorgungsspannung und Masse.
        Ich glaube nicht, dass sie die Gewichtungen fest verdrahten können. Dann hätten sie nicht nur den Funktionsablauf des Modells fest verdrahtet, sondern auch dessen komplettes Training. Also sowohl den Stil der Antworten als auch deren kompletten Inhalt: Nachlernen unmöglich, Anpassung an bestimmte Einsatzbedingungen unmöglich. Und damit letztlich genau der firmenspezifische KI-Einsatz, für deren Ausführung sich jemand solche Beschleuniger kaufen könnte.

        Bezüglich einer Kombination aus FPGA und externem Speicher: Das hat meinem Wissen nach noch niemand versucht. Ich würde mal erwarten, dass es aufgrund der sehr einfachen, aber extrem zahlreichen Berechnungen bei KIs keine Vorteile gegenüber herkömmlichen Beschleunigern bringt – bei einer FP4-Multiplikation gibt es nicht so wahnsinnig viel Optimierungspotenzial. Dafür wird man um so schneller durch die Zugriffswege zum Speicher limitiert und genau da fahren herkömmliche GPGPUs einiges an spezialisierter Technik auf, die ein FPGA mehr schlecht als recht nachahmen müsste.

        Taalas Ansatz ist, soweit ich aus den spärlichen Informationen herauslese, ein grundlegend anderer: Anstatt große Mengen Daten ständig aus einem externen Speicher in den Chip zu schaufeln, nur um dann fast gar nichts damit zu machen und wieder zurückzuschreiben, legen sie alle Informationen intern ab. Mutmaßlich in verteilten, eng mit den Recheneinheiten assoziierten Speicherblöckchen, wobei der gesamte Aufbau die Struktur des Modells nachahmt. "Datenfragment ist bereits an der einzigen Stelle, an der es gebraucht wird, und das dauerhaft" ist ein viel (energie-)effizienterer Ansatz als "Daten können schnellstmöglich an jede beliebige Stelle transportiert werden", aber eben nichts für FPGAs. Und eben verdammt schwer auf große Modelle zu skalieren, weil DRAM-Prozesse nicht mit leistungsfähiger Logik kompatibel sind, man also auf schweine teuren SRAM setzen und zusätzlich auch noch die Penalty großer Monolithen schlucken muss.

        8B, dass Taalas nach eigenen Aussagen eben auch nur mit ~geviertelter Genauigkeit implementiert, ist gerade einmal ein Fünfzigstell des Maximalausbaus von Llama 3.1 und Llama 3.1 wiederum war 2024 ein brauchbares, aber nicht überragendes Modell. ChatGPT wird aktuell auf 1 bis 2 Billionen Parameter geschätzt, also Faktor 1.000 über dem von Taalas realisierten, schon sehr großen Chip. Wenn den Aufbau eines Modells in Hardware widerspiegelt gibt es vermutlich auch keine Möglichkeit, durch Aufteilung in spezialisierte Experten Speicherplatz einzusparen, da man eben nicht einfach einen anderen Modellteil laden kann.

        Funfact: ChatGPT weiß nicht, wie ChatGPT läuft, sondern muss im Web nach externen Schätzungen suchen. Wir sind wohl doch noch ein Stück von künstlichem Bewusstsein entfernt.

        Zitat von empy
        Eventuell werden auch Analog-Chips interessant werden.
        Bei der Ungenauigkeit und Fehlerrate, die derzeit bei KIs akzeptiert wird: Definitiv. Es arbeiten auch schon viele Start-Ups daran. Aber da wird es dann richtig schwierig mit der Programmierbarkeit.
        Zitieren
      • Von empy Lötkolbengott/-göttin
        Zitat von Olstyle
        Definitiv
        [Ins Forum, um diesen Inhalt zu sehen]
        Wie sagte ein Kollege so schön: Wir lieben den Chip, suchen aber noch die Anwendung dazu
        Ich habe letztlich einen Vortag von einem der Gründer von Anabrid gehört. War auch echt spannend.
        Zitieren
      • Von Olstyle Trockeneisprofi (m/w)
        Zitat von empy
        Eventuell werden auch Analog-Chips interessant werden.
        Definitiv
        [Ins Forum, um diesen Inhalt zu sehen]
        Wie sagte ein Kollege so schön: Wir lieben den Chip, suchen aber noch die Anwendung dazu
        Zitieren
      • Von empy Lötkolbengott/-göttin
        Zitat von Andreas1975
        Interpretiere ich das als Renaissance von Röhrenschaltungen und Kernspeicher?
        Weiß ich nicht.
        Aber ich meine da kommen schon hauptsächlich Transistoren zum Einsatz. Und Speicher braucht man eigentlich kaum. Eigentlich nur, um die Eingangs- und Ausgangswerte vor den DACs bzw. nach den ADCs zu speichern.
        Zitieren
      Direkt zum Diskussionsende
Hoch
  • Print / Abo
    Apps
    PCGH Magazin 08/2026 PC Games 08/2026 play5 08/2026 N-Zone 08/2026 Linux Magazin 08/2026 LinuxUser 08/2026 Raspberry Pi Geek 09/2026
    PC Games Hardware PC Games Linux Magazin Raspberry Pi Geek Computec Kiosk