Nvidia CES 2025 Editor's Day - Neural Radiance Cache
In diesem Artikel
Zum Thema "von der KI erzeugen, statt tatsächlich voll berechnen zu lassen" passt auch der Neural Radiance Cache. Hierbei handelt es sich um eine spezifisch für Pathtracing und Globale Beleuchtung angedachte KI-Optimierung, die bereits auf der GTC im Jahre 2021 präsentiert wurde (das offizielle Paper finden Sie hier, ein Video mit Vergleichsszenen steht ebenfalls zur Verfügung), nun im Rahmen des Blackwell-Launches und dem Nvidia Editor's Day allerdings nochmals Erwähnung fand. Der Kernpunkt ist das Caching der Radiance Samples, ein Optimierungsansatz, der das extrem aufwendige, wiederholte Abtasten vermeidet. Ohne Optimierung wäre im Grunde die komplette Berechnung eines Samples pro Pixel, pro Frame, pro Lichtquelle nötig, obendrein würde diese Berechnung umso aufwendiger, je mehr Bounces dabei zum Einsatz kommen.
Quelle: NVIDIA
RTX Neural Rendering - Neural Radiance Cache
Der unter der Federführung von Nvidias Senior Research Scientist Bendict Bittterli entwickelte ReSTIR-Algorithmus (Paper hier) bietet mit "Resampling" und "Reservoir-Caching" bereits einen Optimierungs-Ansatz, der in gewissem Rahmen in diese Richtung geht und der unter anderem bei RTXDI schon zum Einsatz kommt (etwa Cyberpunk mit Pathtracing, Portal RTX, Alan Wake 2 mit Pathtracing). Dieser nutzt ein auf dem Screen Space basierendes, spatio-temporales Resampling-Verfahren, mithilfe dessen unzählige direkte Lichtquellen in die Pathtracing-Berechnung eingebunden werden können, ohne dass das Ergebnis von allzu starkem Noise verunziert wird. Dank der ReSTIR-Optimierung müssen weniger Rays pro Pixel pro Frame pro Lichtquelle verfolgt werden, da bereits berechnete Informationen, von umliegenden Samples gespeichert (Caching), wieder aufgegriffen, "Resampled", werden. Dies betrifft allerdings nur den direkten Teil des Lichts, der indirekte Teil ist weiterhin stark Noise-behaftet.
Der Ansatz für Neural Radiance Caches ist, die KI auf Basis der bereits berechneten Daten in Laufzeit, "online" zu trainieren, also auf Pre-Training zu verzichten. Es handelt sich demnach um einen Generalization-by-Adoption-Ansatz. Der AI-Radiance-Cache wird also während des eigentlichen Renderns anhand der aktuellen Daten trainiert. Mithilfe der KI wird darauf indirektes Multi-Bounce-Light simuliert, indem die Daten von einem oder wenigen Bounces iteriert werden. Während des Editor's Day gab es ein treffliches Anwendungsbeispiel: In einer Szene aus der RTX-Version von Half-Life 2 wurde die Pathtracing-GI mit nur einem Bounce berechnet. Mithilfe des Neural Radiance Caches wird darauf der zweite Bounce der GI komplett von der KI berechnet, ohne die horrenden Kosten für die Rechenwerke der genutzten Grafikkarte.
So sind die Neural Radiance Caches wohl am einfachsten zu begreifen: Sie ermöglichen komplexere Pathtracing-Grafik mit zusätzlichen Light-Bounces, ohne die hohen Kosten, die dafür im Normalfall nötig wären. Spannend! Und abermals gilt: nicht Blackwell-exklusiv; auch Besitzer älterer Geforces, AMD- und Intel-GPUs können profitieren. Blackwell-GPUs beziehungsweise die Tensor Cores fünfter Generation sind lediglich besonders gut für den Workload ausgelegt. Der Neural Radiance Cache wird in Bälde in Nvidias Remix zum Einsatz kommen, erster Spielekandidat ist Portal RTX.
RTX Skin
Ebenfalls unter "Neural Shaders" oder "Neural Rendering" fällt RTX Skin, das obendrein unter den Sammelbegriff "Neural Radiance Cache" passt. Auf dem Editor's Day wurde uns RTX Skin am Beispiel Half-Life 2 beziehungsweise einer entsprechenden RTX-Remix-Demo demonstriert. In diesem Fall wurde das Subsurface-Scattering, ein sehr kostspieliger Effekt, wenn er mit Pathtracing realisiert wird, eines Headcrap-Zombies mittels KI erzeugt. Wie bei Neural Radiance Caches dient das vorherige, teilweise mittels Pathtracing dargestellte Bild als Trainings-Vorlage für das Neural Network.
Quelle: NVIDIA
RTX Neural Rendering - RTX Skin
Statt den Weg der Strahlen mittels Pathtracing tatsächlich durch den Körper der Head-Crap zu verfolgen, was sehr rechenaufwendig ist, halluziniert die KI diesen Effekt auf Basis des Ausgangsbilds hinzu. Sie erhalten also bessere Grafik, die annähernd die Qualität eines extrem anspruchsvollen Pathtracing-Effekt erzielt, ohne Ihre Grafikkarte mit diesen extremen Pathtracing-Kosten zu belasten. Stattdessen verrichtet die KI die Arbeit. Die Arbeit wird also in gewissem Sinne von den Raytracing-Rechenwerken auf die KI-Beschleuniger "ge-outsourct". Und Letztere sind bei Blackwell besonders schnell. Auch RTX Skin wird auf älteren Geforces und anderen Grafikkarten laufen - doch eben nicht so schnell wie mit Blackwell, dies scheint gewiss.
RTX Neural Hair
In Bezug auf fortschrittliche Spielegrafik ist auch der nächste Nvidia-Vorstoß interessant - und nicht nur für Geforce-Nutzer. Haar-Rendering stellt Grafikkarten schon seit Jahren vor Herausforderungen und mit dem Aufkommen, der steigenden Popularität von Ray- und Pathtracing verschärften sich zuletzt einige Schwierigkeiten: Sehr feine, komplexe, polygonreiche und dynamische Details in Raytracing-Berechnungen einzubinden, ist extrem kostspielig. Das trifft für feine Vegetation in ähnlichem Maße zu wie für Haar oder Fell, zumindest, wenn man diese mittels Polygonbasis darstellt.
Quelle: NVIDIA
RTX Neural Rendering - RTX Hair
Für eine glaubwürdige Haar- oder Felldarstellung auf Polygonbasis müssen extrem viele der eckigen Primitives genutzt werden, um ein organisches, glaubwürdiges Ergebnis zu erzielen. Man erinnere sich beispielsweise an Nvidias Hairworks, welches die wogende Haarpracht etwa in The Wichter 3 mittels Tessellation und x64-Unterteilungsfaktor darstellt. Diese pixelfeinen, dynamischen Elemente mit extremer Polygondichte zu erfassen und jeweils per Raytracing zur Lichtquelle zu prüfen, lässt die Kosten der Strahlenverfolgung explodieren.
Quelle: NVIDIA
Indiana Jones und der Große Kreis mit RTX Hair
Es existieren zwar bereits andere Herangehensweisen für Dinge wie Haar- und Felldarstellung, darunter etwa das damals neben Nvidias Hairworks als eine Art Konkurrenz-Modell für Spiele-Haarpracht laufende TressFX, das Splines bzw. Nurb Curves als Primitive nutzt, oder das Strand Hair der Frostbite-Engine (zuletzt zu bewundern in Dragon Age: The Veilguard), doch teils setzen auch diese Haar-Modelle auf Polygone, etwa für gröbere Details unter der Haarpracht und/oder ein LoD. Oder aber für NPCs; TressFX kam etwa in den allermeisten Fällen nur für den Hauptcharakter zum Einsatz.
Quelle: NVIDIA
RTX Neural Rendering - RTX Hair
Kurzum: RTX Neural Hair nutzt statt einer Polygon-Basis ein für Ray- und Pathtracing effizienter zu handhabendes Primitive: Linear Swept Spheres. Im Grunde handelt es sich um mit einigen Eckpunkten definierte, lineare Kurven, aus denen längliche, zylinderförmige Körper erzeugt werden können, an "Knickpunkten", am Anfang und Ende jeder "Haar-Kurve" befindet sich eine Kugel. Diese Primitives sind nicht nur in ihrer Form dem menschlichen Haar ähnlicher, als aus unzähligen, vieleckigen Polygonen bestehende Gebilde. Sie lassen sich bei vergleichbarer Qualität zudem effizienter mittels Raytracing auf Verdeckung prüfen und benötigen weniger Verwaltungsaufwand sowie Grafikspeicher.
RTX Neural Faces
Gewissermaßen zu Neural Hair und RTX Skin passt auch Neural Faces. Auf dem Editor's Day war dieses Feature in einer sehr frühen WIP-Version in Nvidias Blackwell-UE5-Demo zu bewundern. Mit RTX Neural Faces - abermals, unter Verwendung Neural Shaders - konnte ein menschliches Gesicht in (annähernder) Pathtracing-Qualität auf Wunsch komplett von KI erzeugt werden, inklusive Ausleuchtung, Subsurface-Scattering, Verschattung sowie Animationen. Allerdings handelte es sich dabei vielleicht eher um eine Art Machbarkeitsstudie als bloß eine Rendertechnik, die glaubhafte Darstellung, Mimik und Interaktion, Vertonung von menschlichen Figuren via KI ist ein Wegweiser in Richtung einer wohl etwas längerfristigen Entwicklung.
Quelle: NVIDIA
RTX Neural Rendering - RTX Faces
Nvidia treibt mit Blackwell den virtuellen Menschen, den Autonomous Player Character, voran. Diese "menschliche" Darstellung und Verkörperung durch die KI war in mehreren Bereichen auf dem Editor's Day Thema, so präsentierte Krafton einen autonomen KI-Spiele-Kameraden in PUBG, KI-gesteuerte "Familien-Mitglieder" in der Lebenssimulation Inzoi sowie GoodAI die Sandbox AI People. Mit Nvidias Vorstoß in Hinblick virtueller KI-Charaktere sind unsere Leser natürlich bereits vertraut, wir haben etwa mehrfach über Nvidias ACE-Demo berichtet. In Bezug auf Nvidias ACE AI wurde auf dem Editor's Day zudem Zoopunk vorgestellt. Dort können Sie die KI etwa mittels Spracheingabe dazu auffordern, Ihr Schiff zu lackieren. Die KI ist im Gameplay angekommen und wird über kurz oder lang unseren Spiele-Alltag ergänzen. Dies scheint nun ein naheliegender Schluss.
Alles auf ein Level runterziehen als sich von Performern hochziehen zu lassen.
Aber an einer Stelle hast du recht: Vermögenden Einzelpersonen, die sich über allgemein Absprachen hinwegsetzen, die Entscheidungsgewalt darüber zu lassen, was allen zu gefallen hat, liegt in der Tat voll im Zeitgeist. Insbesondere wenn ein erheblicher Teil des Vermögens vorher der Allgemeinheit aus der Tasche gezogen wird.
Könnte man in Zukunft dann nicht gleich alles durch Serverfarmen berechnen lassen und auf hochgezüchtete Grafikkarten im heimischen Rechner verzichten?
Bezüglich der AI-Modelle würde ich erwarten, dass sich nur wenige komplett eigene AI-Modelle leisten können. Aber bei KI ist es allgemein schon schwierig, eine bestimmte Ergebnisqualität zu garantieren – wenn Nvidia, AMD und Intel jeweils abweichende Ausführungswege einführen, wird man diesen Aufwand für jede Basisarchitektur getrennt leisten müssen (ggf. gar getrennt nach Generationen je Hersteller), oder riskiert sichtbare Abweichungen bei der ausgelassenen Basis. KI ist eben nicht deterministisch nach dem Muster "Eingabe A erzeugt Ausgabe B", die Bug-bedingt ja auch schon oft genug scheitert. Bei KI kann immer auch C rauskommen – und es gibt in der Regel keine Möglichkeit vorherzusagen, wann/ob das der Fall sein wird, denn der Code von KI ist eben selbst generiert und nicht nachvollzogen, oft genug nicht einmal nachvollziehbar.
Aber gerade bei den genannten und gezeigten Materialien bräuchtest du im Grunde Pathtracing und sehr komplizierte Berechnungen (Lichtbrechung), die schnell aus dem Ruder laufen können. Ebenso mit dem "Edelstein", da müsste man im Prinzip komplett "durchraytracen", das wäre sehr teuer.
So ähnlich auch bei RTX Skin, das Licht da durch zu verfolgen, um "echtes" Subsurface-Scattering zu erhalten, ist sehr teuer. Also lässt man es nun die KI herbeihalluzionieren, statt die GPU mit vollem Pathtracing zu quälen.
Und bezüglich KI-Features muss man wohl ein wenig unterscheiden. Die Effekte und "Gaming"-Features laufen auf der Grafikkarte. Aber sowas wie Nvidia ACE, die AI-NPCs, virtuellen Spielepartner etc. die NIMs laufen zum Teil in der Cloud. Die NIMs kann man sich wie kleine KI-Programme vorstellen oder "Microservices", wie Nvidia sie nennt, die man (zukünftig, das steht aktuell noch alles in den Startlöchern) in andere Tools einklemmen kann.
Ich habe dazu noch eine ganze Reihe Folien als Galerien in den hinteren Teil des Artikels gepackt (RTX for Creators und Nvidia NIM for RTX), da kann man es erahnen. So ungefähr:
[Ins Forum, um diesen Inhalt zu sehen]
(Bildquelle: NVIDIA)
EDIT: [Ins Forum, um diesen Inhalt zu sehen] ein wenig wirkt es so, ja^^
Erst kann es gar nicht genau und die Auflösung nicht nativ genug sein und dann kommt die KI und interpretiert alles nach "gutem Glauben" um.
Gruß,
Phil
Es bleibt abzuwarten, ob die 5090 wirklich nochmal 25-30% auf die 4090 draufpacken kann und man dann auch noch zusätzlich diese ganzen Features kommen. Spannend ist es schon alles!
Könnte man in Zukunft dann nicht gleich alles durch Serverfarmen berechnen lassen und auf hochgezüchtete Grafikkarten im heimischen Rechner verzichten?
MfG
Raff