Nvidia CES 2025 Editor's Day - Neural Rendering
In diesem Artikel
Neural Shaders sind eine Weiterentwicklung der Programmable Shaders. Dabei handelt es sich im Grunde um kleine Programme, mithilfe derer aufwendige und schicke Grafikeffekte realisiert werden können. Vom Vertex-Shader etwa für Animationen oder glaubwürdige Terrain-Darstellung über Pixel-Shader, wie sie etwa für das berühmte "Quecksilberwasser" Morrowinds genutzt wurden, zu komplexen Interaktionen der Materialien mit virtuellem Licht in Cyberpunk 2077 mit Pathtracing. Im Grunde ist all dies den kleinen Shader-Programmen zu verdanken.
Quelle: NVIDIA
RTX Neural Rendering - Neural Shaders (1)
Die seit rund 25 Jahren - einer der besonders frühen Vorreiter war id Software mit Quake 3 Arena - in stetig erweiterter Ausbaustufe zum Einsatz kommenden Shader-Programme wurden unter anderem früh von Nvidia vorangetrieben (wenn man Nvidia fragt: von Nvidia erfunden, was zumindest nicht gelogen ist, sie waren es allerdings nicht allein) und erhalten nun mit RTX Neural Shaders die nächste Ausbaustufe. Mit Neural Shaders werden die in Echtzeit laufenden, kleinen GPU-Programme mit einem eigenen, kleinen Neural Network versehen.
Quelle: NVIDIA
RTX Neural Rendering - Neural Shaders (2)
Neben in Echtzeit von der GPU zu berechnenden Grafikprogrammen nutzten Neural Shaders demnach KI, um beispielsweise neue Grafikeffekte zu ermöglichen. Mithilfe der Neural Shaders können diese aber auch effizienter verwaltet und gestaltet werden. Etwa, indem der Speicherbedarf gesenkt wird. Neural Shaders können obendrein die Handhabung komplexer Geometrie vereinfachen oder genauer gesagt die Beschleunigungsstruktur (BVH, Bounding Volume Hierarchy) für Pathtracing effizienter gestalten. Es können mithilfe der KI obendrein auch jene Shader- und Grafikeffekte realisiert werden, bei denen die herkömmliche Berechnung viel zu aufwendig für heutige Grafik-Hardware wäre - trotz relativ geringer Roh-Leistungssteigerung. Blackwell bietet indes besonders schnelle KI-Fähigkeiten.
Blackwell-beschleunigt, lauffähig mit allen GPUs
Mithilfe der Neural Shaders können also Grafik-Effekte mit KI-Technologien spezifisch von Entwicklern in Spiele beziehungsweise Echtzeit-Rendering integriert sowie bislang sehr aufwendige Render- und Verwaltungsprozesse durch die KI optimiert werden. Neben der Darstellung neuer Effekte ermöglicht Neural Shading durch KI-unterstütze Optimierungsprozesse auch die Umsetzung bislang sehr kostspieliger Umstände: etwa ausgesprochen hohe, dynamische Polygondichten oder feines Haar-Rendering beim Einsatz von Ray- oder Pathtracing.
Dabei steht zu beachten, dass diese Fähigkeiten nicht Blackwell-exklusiv sind. Von Neural Shading werden auch Besitzer älterer Nvidia-GPUs profitieren können, lediglich die laut Nvidia besonders effiziente KI-Beschleunigung durch die 5th Gen Tensor Cores sowie DLSS 4 mit Multi-Frame-Generation ist Blackwell-exklusiv. Tatsächlich werden die folgenden Effekte auch auf AMD und Intel-GPUs funktionieren. Eine entsprechende API beziehungweise DirectX-Version vorausgesetzt - eine solche ist bei Microsoft bereits in Arbeit. Dies ist eine gute Entscheidung, denn nur wenige Entwickler würden Neural Shaders wohl für ihre Spiele nutzen, wenn sie exklusiv auf brandneuen, wenig verbreiteten PC-Grafikkarten funktionieren würden. Der Support für Neural Shaders ist also nicht exklusiv, sondern "industry-wide". Dies dürfte der Adaption sehr zugegen kommen.
Alles auf ein Level runterziehen als sich von Performern hochziehen zu lassen.
Aber an einer Stelle hast du recht: Vermögenden Einzelpersonen, die sich über allgemein Absprachen hinwegsetzen, die Entscheidungsgewalt darüber zu lassen, was allen zu gefallen hat, liegt in der Tat voll im Zeitgeist. Insbesondere wenn ein erheblicher Teil des Vermögens vorher der Allgemeinheit aus der Tasche gezogen wird.
Könnte man in Zukunft dann nicht gleich alles durch Serverfarmen berechnen lassen und auf hochgezüchtete Grafikkarten im heimischen Rechner verzichten?
Bezüglich der AI-Modelle würde ich erwarten, dass sich nur wenige komplett eigene AI-Modelle leisten können. Aber bei KI ist es allgemein schon schwierig, eine bestimmte Ergebnisqualität zu garantieren – wenn Nvidia, AMD und Intel jeweils abweichende Ausführungswege einführen, wird man diesen Aufwand für jede Basisarchitektur getrennt leisten müssen (ggf. gar getrennt nach Generationen je Hersteller), oder riskiert sichtbare Abweichungen bei der ausgelassenen Basis. KI ist eben nicht deterministisch nach dem Muster "Eingabe A erzeugt Ausgabe B", die Bug-bedingt ja auch schon oft genug scheitert. Bei KI kann immer auch C rauskommen – und es gibt in der Regel keine Möglichkeit vorherzusagen, wann/ob das der Fall sein wird, denn der Code von KI ist eben selbst generiert und nicht nachvollzogen, oft genug nicht einmal nachvollziehbar.
Aber gerade bei den genannten und gezeigten Materialien bräuchtest du im Grunde Pathtracing und sehr komplizierte Berechnungen (Lichtbrechung), die schnell aus dem Ruder laufen können. Ebenso mit dem "Edelstein", da müsste man im Prinzip komplett "durchraytracen", das wäre sehr teuer.
So ähnlich auch bei RTX Skin, das Licht da durch zu verfolgen, um "echtes" Subsurface-Scattering zu erhalten, ist sehr teuer. Also lässt man es nun die KI herbeihalluzionieren, statt die GPU mit vollem Pathtracing zu quälen.
Und bezüglich KI-Features muss man wohl ein wenig unterscheiden. Die Effekte und "Gaming"-Features laufen auf der Grafikkarte. Aber sowas wie Nvidia ACE, die AI-NPCs, virtuellen Spielepartner etc. die NIMs laufen zum Teil in der Cloud. Die NIMs kann man sich wie kleine KI-Programme vorstellen oder "Microservices", wie Nvidia sie nennt, die man (zukünftig, das steht aktuell noch alles in den Startlöchern) in andere Tools einklemmen kann.
Ich habe dazu noch eine ganze Reihe Folien als Galerien in den hinteren Teil des Artikels gepackt (RTX for Creators und Nvidia NIM for RTX), da kann man es erahnen. So ungefähr:
[Ins Forum, um diesen Inhalt zu sehen]
(Bildquelle: NVIDIA)
EDIT: [Ins Forum, um diesen Inhalt zu sehen] ein wenig wirkt es so, ja^^
Erst kann es gar nicht genau und die Auflösung nicht nativ genug sein und dann kommt die KI und interpretiert alles nach "gutem Glauben" um.
Gruß,
Phil
Es bleibt abzuwarten, ob die 5090 wirklich nochmal 25-30% auf die 4090 draufpacken kann und man dann auch noch zusätzlich diese ganzen Features kommen. Spannend ist es schon alles!
Könnte man in Zukunft dann nicht gleich alles durch Serverfarmen berechnen lassen und auf hochgezüchtete Grafikkarten im heimischen Rechner verzichten?
MfG
Raff