Jensen Huang hat Recht: Dem neuronalen Rendering gehört die Zukunft und noch viel mehr! - Ein Kommentar von Torsten Vogel

Eigentlich wollte PC World nur wissen, ob wir uns auf Rasterizing-Power jenseits der RTX 5090 freuen können. Aber Jensen Huang ließ sich zu einer noch viel weiter reichenden Antwort hinreißen, wie wir bereits berichteten:

Maybe another way of saying it is that the future is neural rendering. It is basically DLSS. That's the way graphics ought to be.

Die Reaktionen in der Community kamen prompt, und egal ob KI grundsätzlich abgelehnt, neuronale Netzwerke schon als Schnee von gestern angesehen oder von hochwertigem Pathtracing geträumt wird: Sie waren negativ. Dabei hat Jensen mit seiner Aussage recht, mehr sogar, als er vermutlich beabsichtigte, denn KI-Aproximationen sind nicht nur die Zukunft. Neuronales Rendering ist, wenn wir über Path- und Raytracing reden, längst die Gegenwart, was ich in dieser Kolumne mal klarstellen möchte. Beide Bezeichnungen verwende ich synonym, denn heute als "Pathtracing" verkaufte Grafik ist in aller Regel nur eine etwas bessere Annäherung an das, was modernes Spiele-"Raytracing", also die mit der RTX-2000-Generation begonnene Umwälzung, von Tag 1 an versprochen hat: eine physikalisch korrekte, somit fotorealistische Berechnung einer kompletten Spielszene durch Rückverfolgung des optischen Weges von der virtuellen Kamera bis zu einer Lichtquelle.

tl;dr-Zusammenfassung des Rechenbeispiels: Um Szenen, wie sie einem in jedem Spiel begegnen, tatsächlich "physikalisch korrekt zu berechnen", braucht man große Rechencluster und teils mehrere Tage pro Frame. Heimanwender-Hardware kann dies unmöglich in Echtzeit schaffen - heute nicht, in naher Zukunft nicht und möglicherweise auch das gesamte kommende Jahrzehnt über nicht. Spiele müssen schummeln. Die früher übliche Lösung hierfür waren Rasterizer, also letztlich eine Kombination aus natürlicher Intelligenz, Vereinfachung und Offline-Rendering: Der Spieldesigner entscheidet beispielweise, an welcher Stelle eine statisch vorberechnete Lightmap oder generelles Ambient Occlusion die gewünschte Beleuchtung hinreichend genau annähert oder wo beispielsweise aufwendige Stencil-Schatten reale Lichtausbreitung nachstellen müssen.

Im "Raytracing"-Zeitalter überlässt man die Details dagegen der KI. Für "Pathtracing" in zum Beispiel Cyberpunk muss im ersten Schritt eine KI entscheiden, welche eigentlich vorgesehenen Strahlen tatsächlich abgefeuert werden. Fixe (gegebenenfalls per KI ermittelte) Settings oder eine zweite neurale Logik entscheiden, wie weit jeder einzelne davon verfolgt wird, falls er nicht nach kurzer Zeit auf ein Objekt trifft. Die so ermittelten, eher spärlichen Bildinformationen wandern dann in einen Denoiser, der temporale Informationen aus vorangegangenen Frames, einschließlich mittels KI-Ray-Reconstruction recycelter Strahlengänge, via KI mit den neuen Rechenergebnissen kombiniert. Schon auf dem Weg zu diesem ersten Render-Bild findet also jede Menge "neuronales Rendering" statt, aber eher wenig Raytracing.

Im Post-Processing folgt dann, wenn wir mal bei Huangs Produktpräsentationen bleiben, eine Post-Processing-Phase mit DLSS und FG. Ersteres nutzt unter anderem KI-ermittelte Motion Vectors, KI-trainierte Upscaling-Algorithmen und KI-Bildanalyse, um das Renderergebnis mit Elementen aus früheren Frames und komplett zusätzlichen Details anzureichern sowie mit einer höheren Pixelzahl auszugeben. Allein der Mismatch zwischen Ein- und Ausgabeauflösung sorgt dabei zwingend für reichlich KI-Pixel - wenn man 2×2 Pixel um Faktor 1,5 ("Quality") auf 3×3 hochskaliert, lässt sich keiner der fünf zusätzlichen Bildpunkte auf einen gerenderten mappen, sie müssen als Zwischenfarben KI-generiert werden. Bei Faktor 1,25 würden sogar nur 4 von 25 Render- auf 4 von 36 Ausgabepixeln passen; ein skaliertes Bild kann also sogar deutlich weniger "echte" Bildpunkte enthalten als gerendert wurden. In der Praxis müssen selbst letztere an ihr neues Umfeld angepasst werden, sodass das Upscaling für 95 bis 100 Prozent KI-Anteil am ausgegebenen Bild sorgt. Aktiviert man dann noch Nvidias aktuelles Lieblingsfeature, Frame Generation, berechnet eine weitere KI einen bis fünf Zwischenframes, also KI-KI-Pixel, die bis über 80 Prozent der Ausgabe ausmachen - selbst in Rasterizerspielen, die auf RTX mit seinen KI-Anteilen im ersten Schritt verzichten.

Huang hat also vollkommen recht, wenn er "neuronales Rendering" als Zukunft des Renderings beschreibt. Der neuronale Teil dominiert schon in der Gegenwart die Bildausgabe und der aktuell naheliegendste Entwicklungssprung wäre eine Integration der aktuell in mehreren Schichten übereinander gestapelten KIs: Ein großes neuronales Netzwerk tastet die Szene an den Stellen nach echten Informationen ab, die es für besonders wichtig hält, und generiert drum herum in einem einzigen, direkten Schritt das komplette Ausgabebild. Neu wären an so einer Lösung aber nur die hoffentlich geringere Fehleranfälligkeit und möglicherweise bessere Performance. Mit der Physik realer Lichtausbreitung, also mit "Raytracing", hat dagegen schon die heutige Bildausgabe so wenig zu tun, wie ein Text-Prompt mit dem KI-generierten Standbild am Ende oder, um einen der beliebten Autovergleiche zu bemühen, der Zündfunke eines 1970er Lincoln Continental mit Elektromobilität.

Artikel teilen

Kommentar: Jensen hat recht, neuronales Rendering ist die Zukunft Auf der CES ließ sich Nvidia-CEO Jensen Huang zu einer Aussage hinreißen, welche reichlich Kritik erhält. Aber er hat recht, findet unser gar-nicht-von-diesem-Fach-Redakteur Torsten Vogel, der mal seinen Senf dazugeben muss.

Per E-Mail versenden

45