Die Künstliche Intelligenz und die Zukunft der Spiele: ein Besuch bei Nvidia [Update]
Aktualisiert: Nvidia lud nach München ein, um unter anderem das mit Pathtracing verschönerte Half-Life 2 und die KI-Tech-Demo Covert Protocol zu präsentieren. Hier offenbarte sich, wie eine nahe Spiele-Zukunft aussehen könnte - ein Kurzbericht.
Aktualisierung: Mittlerweile können wir auch einen Videobericht zum Besuch bei Nvidia im Artikel nachpflegen. Zur Erinnerung: Phil und Felix sind nach München gefahren und haben sich bei Nvidia ein paar Präsentationen angesehen, u.a. zu RTX Remix und der ACE-Demo Covert Protocol. Ihre Eindrücke dazu gibt es im Video unten.
Spätestens seit ChatGPT ist das Thema "Künstliche Intelligenz" in aller Munde. Einer der aktuellen Vorreiter ist dabei zweifellos Nvidia. Als technisch interessierte Redakteure ließen wir uns daher nicht lange bitten und folgten einer Einladung ins sonnige München, um uns von der Grafikkarten- und KI-Schmiede einige neue, spannende Entwicklungen präsentieren zu lassen. Während es außerdem einige Details zu DLSS, RTX HDR, der Ray Reconstruction (bald auch in Portal RTX), sowie Remix und der Pathtracing-Version von Half-Life 2 zu bestaunen gab, lag der Fokus klar auf der KI. Und der Art und Weise, wie eine Implementation der Künstlichen Intelligenz möglicherweise in naher Zukunft dazu genutzt werden könnte, unsere Spielerlebnisse grundlegend zu verändern.
Von Detektivarbeit und cleverem KI-Verhör
Im Zentrum stand dabei eindeutig Nvidia ACE, respektive die Techdemo Covert Protocol. In dieser schlüpfen Sie in Ego-Ansicht in die Rolle eines Privat-Detektivs. In der Demo - sehr ansehnlich präsentiert durch die Unreal Engine 5 - besteht die Aufgabe darin, in einer Hotel-Lobby die Zimmernummer eines prominenten Teilnehmers einer dort stattfindenden Veranstaltung herauszufinden. Für die Lösung dieser Aufgabe können Sie drei NPCs befragen, der Knackpunkt ist indes, dass sie direkt via Spracheingabe vonstattengeht, Sie die Charaktere also direkt befragen können.
Die Figuren und die Antworten auf Ihre Fragen werden wiederum von der KI übernommen - oder im Grunde gleich mehrerer. Nicht unähnlich einiger Modding-Projekte, darunter prominent Skyrim, wir Ihr Sprach-Input zuerst via Mikrofon aufgezeichnet. Darauf wird der Spieler-Input von einer Speech-To-Text-AI transkribiert, in Textform darauf an eine weitere KI geleitet, die wiederum ähnlich ChatGPT eine Antwort in Textform produziert, der Text darauf von einer Text-To-Speech-AI in Sprache gewandelt und diese darauf mithilfe von Nvidias Audio2Face-KI-Technologie in Form von Gesichts-Animation und Audioausgabe von dem spezifischen NPC wiedergegeben. Im Grunde und stark vereinfacht: Sie können dank dieser Technologie tatsächliche Konversationen mit virtuellen Figuren führen. Diese sind mit spezifischen Charaktereigenschaften, mit unterschiedlichen Absichten und dediziertem Wissen ausgestattet respektive trainiert und geben entsprechend individuelle Auskünfte.
Das passiert in der Cover-Protocol-Demo
In der Demo sind drei sehr unterschiedliche Figuren auf diese Art und Weise trainiert. Der Hotelpage ist etwa relativ redselig und teilt auf Nachfrage Gerüchte, Beobachtungen und Details zu anderen Hotelgästen, die er während seiner Arbeit aufgeschnappt hat (bzw. hätte realistisch aufschnappen können). Seine Stimme ist sanft, er selbst nimmt sich und seine Position nicht allzu wichtig. In seinen jungen Jahren hat er allerdings noch Wünsche und Hoffnungen, auf die er bald zu sprechen kommen wird, wenn Sie ihm Gelegenheit dazu geben: Er - respektive die KI, welche ihn steuert - wird das Gespräch bald in eine Richtung führen, die ihm merklich am Herzen liegt. Er wünscht sich, sich zur Position des Barkeepers hochzuarbeiten. Dies ist seine Passion, dies ist der Grund, weshalb er sich in der Position als Hotelpage engagiert: Er möchte sich seinen Traum erfüllen. Und so redet er - sollten Sie ihn lassen - besonders gern über dieses Thema. Sollten Sie entsprechend Interesse bekunden, verrät er Ihnen eventuell sogar ein Geheimrezept.
Die zweite Person in der Raytracing-veredelten UE5-Hotel-Lobby ist die Empfangsdame. Die adrette Dame im mittleren Alter ist merklich professionell und spricht obendrein mit kühler Stimme und betont kultiviertem britischem Akzent. Hier werden Sie mit Ihren Nachforschungen nicht weit kommen: Wenn Sie nach der Zimmernummer oder anderen Gästen fragen, quittiert die Dame Ihre Anfragen steif und routiniert mit Datenschutz und dem Zitieren der gängigen Geschäftspraxis des Hotels. Sie können jedoch ein wenig Small Talk halten und auf Nachfrage einen Willkommens-Drink erschleichen, worauf die Dame sie an die Bar verweist - die in der Demo nicht existiert, Sie können das Thema allerdings abermals mit dem Hotelpagen aufgreifen.
Der dritte Gesprächspartner im Raum ist einer der Teilnehmer des Kongresses. Dieser studiert die Rede, die er halten möchte, ist sehr selbstbewusst und antwortet entsprechend forsch, wenn er von einem dahergelaufenen Hotelgast von der Seite angequatscht wird. Er hat keine Zeit für Small Talk und zeigt Ihnen obendrein die kalte Schulter, da er sich erhaben fühlt. Zeigen Sie allerdings Status und erheben Sie sich mithilfe fremder Lorbeeren auf gleiche Augenhöhe, indem Sie einen Ausweis eines anderen angesehenen Kongressteilnehmers vorzeigen, den Sie in der Hotel-Lobby aufspüren können, so gibt er bereitwillig Auskunft. Der Trick in der Demo ist, den miesepetrigen, jedoch angesehenen Kongressteilnehmer via Spracheingaben dazu zu motivieren, sich zu der hüftsteifen Empfangsdame zu begeben, um dort die Zimmernummer des anderen Kongressteilnehmers zu hinterfragen - die gesuchte Information, die Sie wiederum durch Belauschen des Gesprächs erfahren können.
Spielen wird nicht mehr sein, wie es zuvor war
Allzu komplex ist die gezeigte Demo nicht - die Charaktere haben einen relativ begrenzten Wissensstand, so weiß der Would-be-Barkeeper etwa nicht, wie man einen Old Fashioned mixt. Dieser Drink gehört nahezu verpflichtend in das Repertoire jedes Cocktail-Mischers und ist obendrein so simpel, wie es bei einem Cocktail nur geht. Die "Spiel"-Umgebung ist ebenfalls stark begrenzt und mit nur drei Charakteren recht spärlich belebt. Und doch ist Covert Protocol respektive die Demo zu Nvidias ACE sehr beeindruckend, insbesondere, wenn man sie selbst in Aktion erlebt, also selbst ein Gespräch mit den KI-beseelten Figuren hält. Und das Potenzial ist gewaltig: Stellen Sie sich ein Elder Scrolls oder ein großes Open-World-Game im Stile von GTA 6 oder gar ein komplexes Meisterwerk à la Baldur's Gate vor, in dem Sie mit jedem (zumindest wichtigerem) NPC freie Gespräche führen oder gar Beziehungen, Freundschaften aufbauen können. Das Spielen wird nicht mehr sein, wie es zuvor war. Es wird dynamischer, lebendiger und glaubhafter. Es wäre ein wahrhaft gewaltiger Sprung nach vorn.
Interessant war darauf auch das Gespräch im Kreis von Nvidia- und weiteren Presse-Vertretern, den ebenfalls anwesenden Influencern und Content Creators: Wie könnten Spiele aussehen, die eine solche Technik nutzen? Wie würden Spieler reagieren und mit der Spielewelt und ihren Charakteren interagieren? Welche Herausforderungen stellt eine solch bahnbrechende, grundlegend andere Technik an die Spiele-Designer und in welcher Art und Weise könnten und müssten diese Maßnahmen ergreifen, um die Spieler weiterhin in gewissem Rahmen zu lenken? Wie müssten etwa Quest-Geber in einem Rollenspiel gestaltet werden und die Konversation lenken, damit ein Spieler überhaupt auf den Gedanken kommen, die Figur nach einer Aufgabe zu fragen? Wären überhaupt alle daran interessiert, beim Spielen tatsächlich Konversationen zu betreiben? Was ist mit eher schüchternen, zurückhaltenden Menschen, Leuten, denen es schon vor Telefonanrufen graust? Bräuchte es nicht eventuell eine Option, auf das tatsächliche Gespräch zu verzichten, eine optionale Möglichkeit, wie in aktuellen Spielen eine einfache Antwort in Textform zu selektieren?
Quelle: NVIDIA
Quelle: Nvidia
Die KI und die Spiele-Zukunft
Die Demonstration ließ uns in jedem Fall beeindruckt zurück. Bereits verschiedene Modding-Projekte unter anderem auf Basis von ChatGPT lassen erahnen, dass die KI und insbesondere KI-gesteuerte, von AI beseelte Charaktere wohl schon bald einen bedeutsamen Einfluss auf das Spiel-Design haben werden. Dies hat sich zwar schon vor unserem Besuch abgezeichnet, tatsächlich haben wir bereits mehrfach darüber berichtet und sinniert, wie die KI die Spiele der Zukunft beeinflussen und speziell die Interaktionen mit den Spielfiguren beleben könnte. Es jedoch live in Aktion zu erleben, selbst ausprobieren zu können, ist besonders eindrücklich.
Leider wird die Demo voraussichtlich nicht öffentlich zugänglich sein, jedenfalls nicht in ihrer aktuellen Form. Die Art und Weise, wie die Technik aktuell funktioniert, setzt potente Server voraus, die durch Nvidia gemietet, jedoch von anderen Firmen bereitgestellt werden. Würde eine öffentliche Version der Demo ebenso funktionieren, wäre der Traffic trotz der Datenraten schonenden Übermittlung potenziell nicht unerheblich respektive teuer.(nicht die eigentliche Sprachaufzeichnung wird übertragen, sondern nur der Inhalt in Textform, dies spart nicht nur Bandbreite, sondern ist außerdem bezüglich Latenzen vorteilhaft). Obendrein besteht die Gefahr, dass Spieler die KI dazu "ermuntern", strafrechtlich Relevantes zu äußern - was wiederum im Zweifelsfall auf den Server-Provider zurückfallen könnte, denn dort wird der potenziell fragliche KI-Inhalt erstellt. Es ist also schwierig. Doch eventuell könnte eine Offline-Variante der Demo erscheinen (die also lokal auf Ihrem eigenen Rechner läuft), doch dies konnte man uns bei Nvidia aktuell nicht versprechen.
Wann kommen erste Spiele?
Es ist obendrein ungewiss, wann erste Spiele erscheinen, die auf diese Technik setzen. Wir können allerdings einige kleine Hinweise geben. So ist Ubisoft offiziell an Nvidia ACE interessiert - und eventuell springt auch noch ein anderer Rockstar der Spiele-Großproduktionen zeitnah auf den Dampfer auf. Viel mehr lässt sich aktuell nicht umstandslos sagen, doch vielleicht wissen wir bereits nach der diesjährigen Gamescom mehr.
Was halten Sie von dem Thema "KI in Spielen"? Sehen Sie großes Potenzial? Oder befürchten Sie eine zu freie Entfaltung der Künstlichen Intelligenz, ein zu dynamisches, chaotisches und unkontrollierbares Spiel? Nutzen Sie die Kommentarfunktion und teilen Sie uns Ihre Meinung mit. Zum Kommentieren müssten Sie auf PCGH.de oder im Extreme-Forum eingeloggt sein. Sollten Sie noch keinen Account haben, könnten Sie über eine Registrierung nachdenken, die viele Vorteile mit sich bringt. Beachten Sie beim Kommentieren aber bitte die gültigen Forenregeln.
Das kann dir bspw. in Gothic 3 passieren, obwohl es dort nicht vorgesehen ist, das die NPCs einen über riesige Entfernungen verfolgen - wenn man sich zwischenzeitlich schon mehrmals teleportiert hatte, ist es auch nicht plausibel, das sie genau wissen wo sie dich finden.
Außer man legt es bewusst darauf an, indem man kein zu großen Abstand zu ihnen aufbaut, und gegebenenfalls nochmal triggert.
Dafür wird NV schon Sorgen, dass dies lediglich mit ihrer Hard/Software ("Feature") so ist ...
Also ja, für den Faktor Unterhaltung (Gespräche, Storys) oder die grafische Darstellung, darf "Spiele-K.I." (mMn) sehr gerne alles in den Ring werfen, bzgl. Schwierigkeitsgrad müssen aber Grenzen erhalten bleiben. Sowohl bzgl. Skill beim "Movement" (Reaktionsgeschwindigkeit), als auch in der Logik (Verhalten). Man muss also quasi einen menschlichen Gegenspieler (mit all seinen Einschränkungen) simulieren, und nicht einfach nur einen NPC mit einer K.I. ausstatten.
Sonst wirst du zb. (ingame) beim Lesen eines Hinweises von einem "NPC" hinterrücks abgeschossen, denn du vor vielleicht 2 Stunden und 6 Planeten entfernt mal ausgeraubt o.ä. hast. Einfach, weil er dich so lange/weit verfolgt hat.
Es gibt da, denke ich, schon eine ganze Menge, was passieren könnte, wenn ein NPC plötzlich "zu intelligent" wird. Und ich glaube, dass das auch (für den Entwickler) eine ganz neue Herausforderung sein wird. Also wie intelligent man einen NPC in einem Spiel machen kann/darf, bevor er den Spielspaß negativ beeinflusst. Oder gar zerstört, zb. wenn er nach Zeitraum X dem Spieler schadet (dich killt, deine Base sprengt), du aber nur ein Autosave hast, was nach dem Event angelegt wurde, was die Reaktion des NPCs ausgelöst hat. Und zb. "Gebietsgrenzen" willst du für den K.I. NPC je nach Spiel vielleicht auch ganz bewusst NICHT festlegen. Sowas würde dann (als einfach umzusetzende Maßnahme) schon mal wegfallen.
Man braucht also nicht nur eine NPC-K.I., die sehr viele Stellschrauben hat, man muss auch die Zeit investieren, diese K.I. an das jeweilige Spiel anzupassen. Daher wird man als Entwickler vermutlich noch lange eher "dumme" NPCs in seine Spiele einbauen, einfach weil man dadurch viel Zeit (=Geld) spart. Mit dumm meine ich jetzt nicht gänzlich ohne Fortschritte gegenüber heutigen NPCs, sondern einfach nur, dass die weit hinter ihren eigentlichen Möglichkeiten zurückbleiben werden.
Dafür wird NV schon Sorgen, dass dies lediglich mit ihrer Hard/Software ("Feature") so ist ...