Nvidia CES 2025 Editor's Day - Neural Shaders
In diesem Artikel
Nvidia gab einige anschauliche Beispiele für den Einsatz von Neural Shaders, auch wenn Entwickler mit den kleinen, programmierbaren KI-Netzwerken natürlich selbst Hand anlegen und damit realisieren können, was sie selbst umsetzen möchten. Am einfachsten nachvollziehbar, der auch für Spieler und Spiele-Konsumenten wohl einleuchtendste Einsatz von Neural Shading sind wohl RTX Materials.
Hierbei handelt es sich im Grunde um mit KI aufgewertete "Texturen", wobei letzteres eine bereits seit geraumer Zeit für die Oberflächendarstellung in virtuellen Welten unzureichende Bezeichnung ist. Moderne Oberflächen in der Computer-Grafik werden mit Materialien versehen. Jedes moderne Material ist wiederum ein Shader, ein kleines GPU-Programm, das die Rechenleistung der Grafikkarte sowie Texturen nutzt, um diese etwa glaubwürdig und physikalisch korrekt mit der Beleuchtung interagieren zu lassen (PBR oder Physically Based Rendering), Reflexionen darzustellen oder Geometrie daraus zu erzeugen. Jedes Material, jeder Shader kostet demnach nicht nur Grafikspeicher, sondern außerdem GPU-Leistung. Moderne Materialien sind daher nicht(!) "kostenlos, solange der Speicher reicht", dies ist ein langjähriger, doch seit geraumer Zeit eher unzutreffender, überholter Lehrsatz.
Quelle: NVIDIA
RTX Neural Rendering - Neural Materials
RTX Materials können nun mithilfe der KI, eines kleinen, integrierten Shader-Neural-Networks, Effekte nutzbar machen, die aufgrund der hohen Rechenanforderungen bislang nicht in vollem Maße realistisch umsetzbar waren. Ein gutes Beispiel, das Nvidia auf dem Editor's Day ansprach, ist etwa die realistische Darstellung von Seide. Das feine, vielfarbig schimmernde Gespinst der Seidenraupe hat aufgrund der dreieckigen Struktur auf Proteinbasis komplexe optische Eigenschaften, die bei Lichteinfall prismatische Eigenschaften zeigen und das reflektierte Licht je nach Betrachtungswinkeln vielfarbig streuen.
Optische Berechnungen dieser Art sind extrem aufwendig. Diese regulär auf der GPU zu berechnen, war daher bislang nicht realistisch umzusetzen. Statt diesen komplexen Effekt wie bislang berechnen zu lassen, kann der optische Effekt mit RTX Materials (beziehungsweise Neural Shaders) von der KI "herbeihalluziniert" werden. Statt die GPU mit der vollen Echtzeit-Berechnung des komplexen, optischen Effekts zu überfordern, wird mit RTX Materials also die KI betraut: Der Effekt wird mithilfe der von der KI "erlernten Erfahrungen", dem Training, dargestellt.
Ein anderes Beispiel, das ebenfalls von Nvidia auf dem Editor's Day anhand einer Demo gezeigt wurde (die Seide sehen Sie im Übrigen im Hintergrund), ist der Edelstein in diesem Beispiel. Abermals wäre die komplexe Lichtbrechung, eine physikalisch akkurate Berechnung der optischen Eigenschaften mittels regulärer Shader viel zu aufwendig für aktuelle Hardware. Doch mithilfe der Neural Shaders kann man sich diesen extremen Rechenaufwand sparen, stattdessen die KI damit betreuen. Es braucht zudem keine hundertprozentige Genauigkeit, die volle physikalische Akkuratesse, um ein für das menschliche Auge glaubwürdiges Ergebnis zu erhalten. Eine Annäherung ist dazu vollkommen genügend, und ebendiese lässt sich mit einer entsprechend trainierten KI sehr effizient erreichen.
Da sich Neural Shading nicht nur auf Blackwell-GPUs, sondern prinzipiell mit allen Grafikkarten nutzen lässt, steht für Entwickler außerdem nicht viel im Wege, diese neue Herangehensweise für Materialien in ihren Spielen zu nutzen. Abseits der bislang nicht erschienenen DirectX-Version, natürlich. Ein wenig wird es wohl noch dauern, bis wir in den Genuss dieser neuen Material-Darstellung kommen werden, doch allzu lang wird dies vermutlich nicht in Anspruch nehmen. Und neben DirectX wird wohl auch Vulkan-Support geboten. So viel lässt zumindest der Auftritt von Billy Khan von id Software auf dem Editor's Day und dessen Abhandlung zum Einsatz von KI-unterstützten Render- und Pathtracing-Techniken zu Doom: The Dark Ages vermuten.
Der Entwickler id Software nutzt Raytracing und KI-Fähigkeiten obendrein für einige weitere interessante Punkte, die auch das Gameplay betreffen. So wird das kommende Doom etwa Sichtlinien via Strahlverfolgung und RT-Hitscans bieten - sehr interessant. Damals, zum Launch der RTX 4090, hatten wir in der Q&A-Session mit Jensen tatsächlich die Frage gestellt, ob sich Raytracing nicht auch für NPCs und deren Sichtfeld, deren Wahrnehmung nutzen ließe. Jensen bejahte unsere Frage und id Software lässt es nun Realität werden. Doch zu Doom kommen wir ein andermal. Zurück zu Blackwell und Neural Shading. Wenn Sie mehr zu RTX Materials erfahren möchten, finden Sie hier das offizielle Paper.
Alles auf ein Level runterziehen als sich von Performern hochziehen zu lassen.
Aber an einer Stelle hast du recht: Vermögenden Einzelpersonen, die sich über allgemein Absprachen hinwegsetzen, die Entscheidungsgewalt darüber zu lassen, was allen zu gefallen hat, liegt in der Tat voll im Zeitgeist. Insbesondere wenn ein erheblicher Teil des Vermögens vorher der Allgemeinheit aus der Tasche gezogen wird.
Könnte man in Zukunft dann nicht gleich alles durch Serverfarmen berechnen lassen und auf hochgezüchtete Grafikkarten im heimischen Rechner verzichten?
Bezüglich der AI-Modelle würde ich erwarten, dass sich nur wenige komplett eigene AI-Modelle leisten können. Aber bei KI ist es allgemein schon schwierig, eine bestimmte Ergebnisqualität zu garantieren – wenn Nvidia, AMD und Intel jeweils abweichende Ausführungswege einführen, wird man diesen Aufwand für jede Basisarchitektur getrennt leisten müssen (ggf. gar getrennt nach Generationen je Hersteller), oder riskiert sichtbare Abweichungen bei der ausgelassenen Basis. KI ist eben nicht deterministisch nach dem Muster "Eingabe A erzeugt Ausgabe B", die Bug-bedingt ja auch schon oft genug scheitert. Bei KI kann immer auch C rauskommen – und es gibt in der Regel keine Möglichkeit vorherzusagen, wann/ob das der Fall sein wird, denn der Code von KI ist eben selbst generiert und nicht nachvollzogen, oft genug nicht einmal nachvollziehbar.
Aber gerade bei den genannten und gezeigten Materialien bräuchtest du im Grunde Pathtracing und sehr komplizierte Berechnungen (Lichtbrechung), die schnell aus dem Ruder laufen können. Ebenso mit dem "Edelstein", da müsste man im Prinzip komplett "durchraytracen", das wäre sehr teuer.
So ähnlich auch bei RTX Skin, das Licht da durch zu verfolgen, um "echtes" Subsurface-Scattering zu erhalten, ist sehr teuer. Also lässt man es nun die KI herbeihalluzionieren, statt die GPU mit vollem Pathtracing zu quälen.
Und bezüglich KI-Features muss man wohl ein wenig unterscheiden. Die Effekte und "Gaming"-Features laufen auf der Grafikkarte. Aber sowas wie Nvidia ACE, die AI-NPCs, virtuellen Spielepartner etc. die NIMs laufen zum Teil in der Cloud. Die NIMs kann man sich wie kleine KI-Programme vorstellen oder "Microservices", wie Nvidia sie nennt, die man (zukünftig, das steht aktuell noch alles in den Startlöchern) in andere Tools einklemmen kann.
Ich habe dazu noch eine ganze Reihe Folien als Galerien in den hinteren Teil des Artikels gepackt (RTX for Creators und Nvidia NIM for RTX), da kann man es erahnen. So ungefähr:
[Ins Forum, um diesen Inhalt zu sehen]
(Bildquelle: NVIDIA)
EDIT: [Ins Forum, um diesen Inhalt zu sehen] ein wenig wirkt es so, ja^^
Erst kann es gar nicht genau und die Auflösung nicht nativ genug sein und dann kommt die KI und interpretiert alles nach "gutem Glauben" um.
Gruß,
Phil
Es bleibt abzuwarten, ob die 5090 wirklich nochmal 25-30% auf die 4090 draufpacken kann und man dann auch noch zusätzlich diese ganzen Features kommen. Spannend ist es schon alles!
Könnte man in Zukunft dann nicht gleich alles durch Serverfarmen berechnen lassen und auf hochgezüchtete Grafikkarten im heimischen Rechner verzichten?
MfG
Raff