DLSS 5 im Detail: Drei KI-Modelle auf einer Geforce-Grafikkarte [jetzt mit DLSS-5-Umfrage]

Special 21.07.2026 um 13:39 Uhr Sven Bauduin Als bevorzugte Quelle auf Google hinzufügen

Quelle: Nvidia / Montage: Sven Bauduin

Nvidia hat DLSS 5 auf der Siggraph 2026 erstmals im Detail erklärt: Drei KI-Modelle, Masken für einzelne Objekte und der Betrieb auf nur einer Grafikkarte sind gesetzt. Besitzer einer Geforce RTX 5000 sollen im Herbst starten.

Hinweis: Wir haben nun auch eine neue Umfrage zu DLSS 5 in den Artikel integriert. Danke für Ihre Teilnahme.

Unter dem Titel "Next Era of Graphics: Neural Rendering, World Models & Simulation" hat Nvidia seine Research-Keynote im Rahmen der SIGGRAPH 2026 in Los Angeles dazu genutzt, die im März dieses Jahres angekündigte Technologie erstmalig im Detail technisch aufzuschlüsseln. Dabei gab das US-Unternehmen einen sehr weitreichenden Einblick in das, was Spieler ab diesem Herbst erwartet.

Es findet ein kompletter Neustart der Computergrafik statt.
— Jensen Huang, Nvidia-CEO

Nachdem Chefentwickler Edward Liu die Grundidee hinter DLSS 5 bereits im Vorfeld der Konferenz eingeordnet hatte und Neural Rendering bereits im Mai im Grafiktreiber aufgetaucht war, folgen nun konkrete Eckdaten zu Modell, Werkzeugen und Hardware. Wer wissen will, wie viel Kontrolle Entwickler tatsächlich behalten und ob die eigene Geforce-Grafikkarte genügt, findet nachfolgend alle Antworten aus der Keynote.

Neural Rendering in Spielen: So funktioniert DLSS 5 im Detail

Im Zentrum der Präsentation standen drei Themen: die Architektur des KI-Modells, die Steuerwerkzeuge für Entwickler und die Frage nach der nötigen Hardware. Vorgestellt wurden die Details von Edward Liu, Director of Applied Deep Learning Research, und Gabriele Leone, welcher das Team aus Technical Artists und Art Directors leitet.

Empfohlener redaktioneller Inhalt [EMBED_URL] An dieser Stelle finden Sie externe Inhalte von [PLATTFORM]. Zum Schutz Ihrer persönlichen Daten werden externe Einbindungen erst angezeigt, wenn Sie dies durch Klick auf "Alle externen Inhalte laden" bestätigen: Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt. Mehr dazu in unserer Datenschutzerklärung.

Externe Inhalte Mehr dazu in unserer Datenschutzerklärung.

Nvidia spricht dabei von insgesamt drei Herausforderungen, welche es mit DLSS 5 zu meistern gelte: die künstlerische Absicht zu bewahren, die Stabilität von Frame zu Frame zu gewährleisten und die höchstmögliche Performance in 4K/UHD mit Echtzeitgrafiken zu erzielen.

Herausforderung 1: Die künstlerische Absicht bewahren

Die erste Herausforderung besteht darin, die künstlerische Absicht zu bewahren.

Selbst wenn wir einem generativen Modell einen gerenderten Frame geben, wird es das Bild verändern. Genau das ist schließlich seine Aufgabe.

Jede Veränderung birgt jedoch die Gefahr, sich von der ursprünglichen Absicht zu entfernen.

Angenommen, eine Spielfigur hat eine Narbe. Vielleicht gefällt dem Modell die Narbe nicht und es entfernt sie. Das Bild sieht danach möglicherweise sauberer aus, aber es zeigt nicht mehr die richtige Figur.

Deshalb haben wir eine klare Grenze gezogen. Wir trainieren das Modell so, dass es diese künstlerischen Vorgaben respektiert.

Dafür verwenden wir interne Informationen des Renderers, beispielsweise Albedo-Daten, Oberflächennormalen und Beleuchtungsinformationen. Dadurch versteht das Modell, welche Elemente unverändert bleiben müssen.

Innerhalb dieser Grenzen darf es diejenigen Eigenschaften verbessern, die den Realismus erhöhen:

realistischere Streuung von Licht unter der Haut,
feinere Materialreaktionen,
bessere Lichtdurchlässigkeit bei Haaren und Blättern,
realistischere Kontaktschatten,
bessere Umgebungsbeleuchtung.

Die Narbe kann also eine realistischere Hautschattierung erhalten. Sie darf aber niemals verschwinden.

DLSS 5 muss das Bild verändern, ohne dabei die Geschichte zu verändern.

Das ist die erste Herausforderung.

One-Step-Diffusion: So rechnet das KI-Modell von DLSS 5

DLSS 5 basiert auf einem kompakten One-Step-Pixel-Space-Diffusion-Transformer, der aus deutlich größeren Basismodellen destilliert wurde und jedes Bild kausal nach dem Prinzip "One Frame in, One Frame out" verarbeitet. Das neue Modell blickt also nicht in kommende Frames voraus, sondern veredelt jedes gerenderte Bild einzeln in Echtzeit.

DLSS 5

Preserving Artist Intent Frame by Frame Streaming Real Time 4K

Vollbild-Vergleich

Als Grundlage dienen der gerenderte Frame sowie zusätzliche Engine-Daten wie Bewegungsvektoren, sogenanntes Albedo, Oberflächennormalen, Beleuchtungsinformationen und optionale Objektmasken, wodurch die Ausgabe an den originalen 3D-Inhalten verankert bleibt. Die Geometrie einer Szene tastet DLSS 5 nach Angaben von Edward Liu nicht an. Stattdessen wertet die Technik Kontrast, Ambient Occlusion, Kontaktschatten, Reflexionen und Subsurface Scattering auf, und das in 4K/UHD ("2160p") und in Echtzeit.

Herausforderung 2: Stabilität von Frame zu Frame

Die zweite Herausforderung ist das zeitliche Streaming.

Die meisten Videogeneratoren arbeiten mit mehreren Frames gleichzeitig. Sie analysieren eine Gruppe von Frames und erzeugen anschließend mehrere neue Bilder als Paket.

Beim Echtzeit-Rendering ist das nicht möglich. Das Spiel muss sofort auf Eingaben reagieren und jeden Frame einzeln darstellen.

In einer Spiele-Engine haben wir jedoch Zugriff auf Bewegungsvektoren. Sie werden von DLSS bereits seit der ersten Version verwendet.

Bewegungsvektoren zeigen dem Modell, wie sich Objekte zwischen aufeinanderfolgenden Frames bewegen. Das Modell muss diese Bewegung daher nicht selbst anhand der Pixel erraten.

Dadurch und mithilfe weiterer Verfahren konnten wir das Modell kausal und Frame für Frame arbeiten lassen:

Ein Frame hinein, ein Frame heraus.

Das Modell muss nicht in zukünftige Frames schauen. Trotzdem bleibt das Bild zeitlich stabil und kohärent.

Kein Flimmern, kein Driften und kein Schwimmen von Details.

Drei KI-Modelle und Objekt-Masken für Entwickler

Entwickler können bei DLSS 5 zwischen drei KI-Modellen wählen und diese pro Szene oder Zwischensequenz umschalten. Hinzu kommen die Regler für "Structure Intensity" und "Tone Intensity" sowie Masken, mit denen sich der Effekt auf einzelne Figuren, Objekte oder Umgebungsdetails begrenzen lässt.

Generative Modelle können erstaunlich fotorealistische Bilder erzeugen. Doch ein Spiel braucht mehr als nur ein schönes Bild. Jeder einzelne Frame muss mit der von den Entwicklern erschaffenen Spielwelt übereinstimmen. — Edward Liu, Nvidia

Vorgeführt hat die Werkzeuge Gabriele Leone anhand mehrerer Spielfiguren, die mit kontrastreicherer Beleuchtung und feineren Kontaktschatten sichtbar realistischer wirkten als die zugrunde liegende Render-Version.

Quelle: Nvidia

Quelle: Nvidia

Auffällig war indes die Inszenierung: Statt des umstrittenen Vergleichsvideos von der GTC zeigte Nvidia diesmal einen knapp 30-sekündigen Clip und demonstrierte live, wie sich die KI im Detail steuern lässt.

Die Reaktion auf den Shitstorm aus dem März, als die per Neural Rendering erzeugten "KI-Gesichter" eine hitzige Debatte über künstlerische Kontrolle ausgelöst hatten, ist unverkennbar. Die Integration in Spiele erfolgt auch weiterhin über das etablierte Streamline-SDK.

Herausforderung 3: Geschwindigkeit

Die dritte Herausforderung ist die Geschwindigkeit.

Ein 4K-Bild besteht aus rund acht Millionen Pixeln. Bei mehr als 60 Bildern pro Sekunde stehen weniger als 16 Millisekunden pro Frame zur Verfügung. Den größten Teil dieser Zeit benötigt bereits das Spiel selbst.

Die grundlegenden generativen Modelle, die fotorealistische Bilder erzeugen können, sind groß und langsam. Sie können nahezu beliebige Inhalte generieren, benötigen dafür aber mehrere Sekunden.

Echtzeit-Rendering braucht etwas Spezifischeres: ein Modell, das kleiner, effizienter und auf eine einzige Aufgabe spezialisiert ist.

Wir haben deshalb das Wissen großer generativer Modelle über das Erscheinungsbild der Welt in ein deutlich kleineres Modell übertragen.

Es handelt sich um einen einstufigen Diffusion-Transformer, der direkt im Pixelraum arbeitet und nur eine Aufgabe besitzt:

Echtzeit-Rendering realistischer aussehen zu lassen.

Das Modell ist trotzdem kein gewöhnlicher Bildfilter. Es hat das umfassende Wissen großer Foundation Models über die Welt geerbt.

Es versteht Figuren, Beleuchtung, Materialien und den Kontext eines Bildes. Was es verloren hat, ist die allgemeine Vielseitigkeit. Es kann beispielsweise keine lustigen Katzenvideos mehr generieren.

Weil es aber nur diese eine Aufgabe erfüllen muss, konnten wir es kompakt und effizient genug machen, um parallel zu einem Spiel zu laufen, ohne dass das Erlebnis aufhört, sich wie ein Spiel anzufühlen.

Damit haben wir alle drei Probleme gelöst:

die Bewahrung der erzählerischen und künstlerischen Absicht,
die zeitliche Kohärenz von Frame zu Frame,
die Einhaltung des verfügbaren Zeitbudgets.

Generative KI kann damit direkt Bestandteil eines Renderers werden.

DLSS 5 startet im Herbst für Geforce RTX 5000

DLSS 5 erscheint im Herbst 2026 und soll zum Marktstart mit einer Grafikkarte auskommen. Die erste Demo lief auf der GTC noch auf zwei Geforce RTX 5090, von denen eine ausschließlich das KI-Modell berechnete. Zum Release will Nvidia die Technik hingegen für den Betrieb auf nur einer Grafikkarte optimiert haben.

Konkrete Systemanforderungen und Leistungsdaten bleibt der Hersteller bislang schuldig; als Basis gelten derzeit die Geforce RTX 5000 ("Blackwell"). Zu den ersten unterstützten Titeln zählen Starfield, Assassin's Creed Shadows, Hogwarts Legacy und The Elder Scrolls IV: Oblivion Remastered.

Rückendeckung kommt von Publishern wie Bethesda, Capcom und Ubisoft, welche die Unterstützung bereits zugesagt haben. Die vollständige Research-Session ist im Keynote-Programm der SIGGRAPH 2026 gelistet.

Mitmachen und kommentieren

Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich schon über Ihre Meinung in den Kommentaren zu dieser Meldung. Sollten Sie hingegen noch keinen Extreme-Account haben, laden wir Sie zu einer Registrierung im Forum ein. Beachten Sie beim Kommentieren aber bitte die gültigen Forenregeln. Folgen Sie gerne PCGH bei 🔈 YouTube oder 💬 WhatsApp und erhalten Sie Neuigkeiten zu CPUs, Grafikkarten und Gaming direkt in Ihrem Feed.

Quelle: Nvidia

Artikel teilen

DLSS 5: Drei KI-Modelle, Single-GPU und totale Kontrolle [Umfrage] Nvidia hat DLSS 5 auf der Siggraph 2026 erstmals im Detail erklärt: Drei KI-Modelle, Masken für einzelne Objekte und der Betrieb auf nur einer Grafikkarte sind gesetzt. Besitzer einer Geforce RTX 5000 sollen im Herbst starten.

Per E-Mail versenden

- Kommentare (69)
  Zur Diskussion im Forum
  
  Von Promethea Komplett-PC-Aufrüster(in)
  
  Zitat von PCGH_Torsten
  
  ---
  
  Ob ich das selbst tippe oder mir helfen lasse, ändert nichts am Inhalt — die Timestamps stehen dabei, prüf sie selbst. Und von deiner Seite gabs nen Positionswechsel. ) Aus „kein Zugriff auf Geometrie oder Texturen" wurde „kein Zugriff auf die Rohdaten der Spielwelt". Das is was anderes. ^^
  
  Zitat
  
  1. „Ein Frame auf einmal ist kein zeitliches Verständnis"?
  
  Halb richtig: DLSS 5 denkt nicht in Frame-Chunks wie Video-Generatoren — und das ist Absicht:
  
  Ed Liu · 12:35
  "Most video generators work in chunks — they reason across multiple frames and generate a batch of frames at once. With real-time rendering we don't get to do that."
  
  Aber „gar kein zeitliches Verständnis" ist falsch: Motion Vectors liefern die Bewegung zwischen Frames als Engine-Ground-Truth statt als Pixel-Schätzung, und das Modell läuft kausal und stabil:
  
  Ed Liu · 12:51
  "We do have access to things like motion vectors — all of DLSS has been using them from day one. They tell the model how things are moving across adjacent frames."
  
  Temporal verankert: ja. Langzeit-Gedächtnis: nein — bewusst, aus Latenzgründen. Dein absolutes „kein" bleibt trotzdem falsch.
  
  Zitat
  
  2. „Framebuffer auswerten ist kein Zugriff auf Rohdaten"?
  
  Albedo und Surface Normals entstehen im G-Buffer vor Licht und Shading — das sind engine-interne Rohdaten, nicht das „fertige Bild":
  
  Ed Liu · 11:54
  "We use some of the renderer's internal buffers such as albedos, surface normals, and some of the lighting information."
  
  Was du eigentlich meinst: kein Zugriff auf Meshes, Shader-Code, Szenengraph. Stimmt — hat nur nie jemand behauptet.
  
  Zitat
  
  3. „Materialien erkennen ist keine Nutzung dreidimensionaler Koordinaten"?
  
  Niemand hat behauptet, das Modell frisst Vertex-Daten. Normals kodieren 3D-Orientierung pro Pixel, Motion Vectors die projizierte Bewegung, und die Ausgabe respektiert die Geometrie:
  
  Gavriil · 16:20
  "DLSS 5 is respecting the render frame — it is not changing the geometry in any way."
  
  „Grounded in 3D" heißt: am 3D-Gehalt verankert. Nicht „rechnet in Weltkoordinaten".
  
  Zitat
  
  4. „Ergebnis nachbearbeiten ist kein Rendering"?
  
  Die Erzeugung des finalen Bildes ist Teil der Render-Pipeline — per Definition. Und dein Hybrid-Einwand ist exakt NVIDIAs eigene Beschreibung:
  
  Ed Liu · 23:42
  "Now the model actually changes and generates the final appearance in the image."
  
  Ed Liu · 25:04
  "It extends existing pipelines — it does not replace them."
  
  Du widerlegst also eine Behauptung, die nie jemand aufgestellt hat.
  
  Zitat
  
  5. „Ineffizient — warum nicht Shader-Code und nächster Frame?"
  
  Dein stärkster Punkt, aber die Antworten stehen im selben Vortrag:
  
  Warum der Frame als Anker? Weil er der einzige Eingang ist, der universell über alle Engines funktioniert:
  
  Ed Liu · 10:37
  "It's one signal that is actually universally available across all the engines — path tracing, rasterizers, hybrid, whatever."
  
  Shader-Integration pro Spiel und Engine skaliert schlicht nicht — deshalb Frame plus Standard-Buffer.
  
  Motion Vectors „aufwendig erstellen"? Die produziert jede moderne Engine seit Jahren ohnehin (TAA, DLSS, FSR) — siehe Zitat 12:51 oben.
  
  Und dein Lag-Argument ist invertiert: Die Positionsdaten des nächsten Frames nutzen hieße: erst einen Frame vorrendern, dann warten — genau die Latenz, die du kritisierst. NVIDIA macht bewusst das Gegenteil:
  
  Ed Liu · 13:14
  "One frame in, one frame out — it does not need to peek ahead, and remains temporally stable and coherent. No shimmer, no drifting, no swimming."
  
  Zitat
  
  Zum Schluss dein „echtes neurales Rendering":
  
  Was du beschreibst — Bild in einem Schritt aus Geometrie, Texturen, Shadern, gar neural generierte Animation — ist die Forschungs-Roadmap. Und die beschreibt NVIDIA auf derselben Bühne selbst:
  
  Ed Liu · 25:15
  "We're not claiming we have solved real-time photorealism. True photorealism is still ahead of us."
  
  Ed Liu · 25:30
  "DLSS 5 sits at one end of a much wider generative spectrum — optimized for games, tightly grounded, real-time, causal."
  
  Ed Liu · 26:14
  "This curve really is just getting started — we're still on the steep part."
  
  DLSS 5 ist der erste kommerzielle Schritt genau dieser Kurve. Dass ein erster Schritt nicht der Endpunkt ist, macht ihn nicht zu „Post Processing", sondern zur Etappe. Deine ursprünglichen drei Behauptungen — kein Zugriff auf Engine-Daten, keine Zeitlichkeit, kein 3D-Bezug — sind trotzdem widerlegt. Der Rest ist moving the Goalpost.
  
  Zitieren
  
  Von Promethea Komplett-PC-Aufrüster(in)
  
  Zitat von PCGH_Torsten
  
  ---
  
  Ob ich das selbst tippe oder mir helfen lasse, ändert nichts am Inhalt — die Timestamps stehen dabei, prüf sie selbst. Und von deiner Seite gabs nen Positionswechsel. ) Aus „kein Zugriff auf Geometrie oder Texturen" wurde „kein Zugriff auf die Rohdaten der Spielwelt". Das is was anderes. ^^
  
  Zitat
  
  1. „Ein Frame auf einmal ist kein zeitliches Verständnis"?
  
  Halb richtig: DLSS 5 denkt nicht in Frame-Chunks wie Video-Generatoren — und das ist Absicht:
  
  Ed Liu · 12:35
  "Most video generators work in chunks — they reason across multiple frames and generate a batch of frames at once. With real-time rendering we don't get to do that."
  
  Aber „gar kein zeitliches Verständnis" ist falsch: Motion Vectors liefern die Bewegung zwischen Frames als Engine-Ground-Truth statt als Pixel-Schätzung, und das Modell läuft kausal und stabil:
  
  Ed Liu · 12:51
  "We do have access to things like motion vectors — all of DLSS has been using them from day one. They tell the model how things are moving across adjacent frames."
  
  Temporal verankert: ja. Langzeit-Gedächtnis: nein — bewusst, aus Latenzgründen. Dein absolutes „kein" bleibt trotzdem falsch.
  
  Zitat
  
  2. „Framebuffer auswerten ist kein Zugriff auf Rohdaten"?
  
  Albedo und Surface Normals entstehen im G-Buffer vor Licht und Shading — das sind engine-interne Rohdaten, nicht das „fertige Bild":
  
  Ed Liu · 11:54
  "We use some of the renderer's internal buffers such as albedos, surface normals, and some of the lighting information."
  
  Was du eigentlich meinst: kein Zugriff auf Meshes, Shader-Code, Szenengraph. Stimmt — hat nur nie jemand behauptet.
  
  Zitat
  
  3. „Materialien erkennen ist keine Nutzung dreidimensionaler Koordinaten"?
  
  Niemand hat behauptet, das Modell frisst Vertex-Daten. Normals kodieren 3D-Orientierung pro Pixel, Motion Vectors die projizierte Bewegung, und die Ausgabe respektiert die Geometrie:
  
  Gavriil · 16:20
  "DLSS 5 is respecting the render frame — it is not changing the geometry in any way."
  
  „Grounded in 3D" heißt: am 3D-Gehalt verankert. Nicht „rechnet in Weltkoordinaten".
  
  Zitat
  
  4. „Ergebnis nachbearbeiten ist kein Rendering"?
  
  Die Erzeugung des finalen Bildes ist Teil der Render-Pipeline — per Definition. Und dein Hybrid-Einwand ist exakt NVIDIAs eigene Beschreibung:
  
  Ed Liu · 23:42
  "Now the model actually changes and generates the final appearance in the image."
  
  Ed Liu · 25:04
  "It extends existing pipelines — it does not replace them."
  
  Du widerlegst also eine Behauptung, die nie jemand aufgestellt hat.
  
  Zitat
  
  5. „Ineffizient — warum nicht Shader-Code und nächster Frame?"
  
  Dein stärkster Punkt, aber die Antworten stehen im selben Vortrag:
  
  Warum der Frame als Anker? Weil er der einzige Eingang ist, der universell über alle Engines funktioniert:
  
  Ed Liu · 10:37
  "It's one signal that is actually universally available across all the engines — path tracing, rasterizers, hybrid, whatever."
  
  Shader-Integration pro Spiel und Engine skaliert schlicht nicht — deshalb Frame plus Standard-Buffer.
  
  Motion Vectors „aufwendig erstellen"? Die produziert jede moderne Engine seit Jahren ohnehin (TAA, DLSS, FSR) — siehe Zitat 12:51 oben.
  
  Und dein Lag-Argument ist invertiert: Die Positionsdaten des nächsten Frames nutzen hieße: erst einen Frame vorrendern, dann warten — genau die Latenz, die du kritisierst. NVIDIA macht bewusst das Gegenteil:
  
  Ed Liu · 13:14
  "One frame in, one frame out — it does not need to peek ahead, and remains temporally stable and coherent. No shimmer, no drifting, no swimming."
  
  Zitat
  
  Zum Schluss dein „echtes neurales Rendering":
  
  Was du beschreibst — Bild in einem Schritt aus Geometrie, Texturen, Shadern, gar neural generierte Animation — ist die Forschungs-Roadmap. Und die beschreibt NVIDIA auf derselben Bühne selbst:
  
  Ed Liu · 25:15
  "We're not claiming we have solved real-time photorealism. True photorealism is still ahead of us."
  
  Ed Liu · 25:30
  "DLSS 5 sits at one end of a much wider generative spectrum — optimized for games, tightly grounded, real-time, causal."
  
  Ed Liu · 26:14
  "This curve really is just getting started — we're still on the steep part."
  
  DLSS 5 ist der erste kommerzielle Schritt genau dieser Kurve. Dass ein erster Schritt nicht der Endpunkt ist, macht ihn nicht zu „Post Processing", sondern zur Etappe. Deine ursprünglichen drei Behauptungen — kein Zugriff auf Engine-Daten, keine Zeitlichkeit, kein 3D-Bezug — sind trotzdem widerlegt. Der Rest ist moving the Goalpost.
  
  Zitieren
  
  Von PCGH_Torsten Kokü-Junkie (m/w)
  
  Wieviel davon ist selbst geschrieben?
  Das Verständnis für meine Aussagen bewegt sich jedenfalls, wie passend zum Thema, auf KI-Niveau.
  Nein, immer nur mit einem Frame zu arbeiten ist kein "zeitliches Verständnis".
  Nein, einen Framebuffer auszuwerten ist kein Zugriff auf die Rohdaten der Spielwelt.
  Nein, Materialien erkennen ist keine Nutzung der dreidimensionalen Koordinaten.
  Nein, ein Renderergebnis nachzubearbeiten ist kein vollständiges (wenn überhaupt) "Rendering.
  Und nein, vollkommen mit wie vielen Buzzwords man die Technik für so eine nachgelagerte Bildaufhübschung beschreibt: Es bleibt eine nachgelagerte Bildaufhübschung.
  
  Echtes, neuronales Rendering würde dagegen, ausgehend von den Geometrie- und Texturdaten des Spiels sowie des Shadercodes (soweit man den einem neuronalen Render noch anliefern muss), das finale Bild in einem Schritt erzeugen. Oder, mit temporalem Verständnis noch besser: Direkt die Frame übergreifende Animation.
  
  Was Nvidia stattdessen zeigt, ist ein überarbeitetes DLSS-Upscaling, dass die angelieferten Bilder tiefergehender analysiert, um weniger Fehler zu machen. Sicherlich auch ein Fortschritt, aber kein grundlegend neues Konzept und vor allem erscheint mir das zunehmend ineffektiv: Warum analysiere ich Materialien im fertigen Bild, wenn im Shader-Code schwarz auf weiß stand, welches Material es ist? Wieso erstelle ich aufwendig Motion Vectors, während ich parallel die tatsächliche Geometrieberechnung rendere? Wieso reden wir hier über Lag durch die nachträgliche Bildbearbeitung, wenn der Treiber zu diesem Zeitpunkt längst die Positionsinformationen des nachfolgenden Frames hat und berücksichtigen könnte? Weil wir von eine Post-Rendering-Effekt reden. Nicht von einer neuronalen Pipeline.
  
  Zitieren
  
  Von Promethea Komplett-PC-Aufrüster(in)
  
  Zitat
  
  Zitat von PCGH_Torsten
  
  Nur ein weiterer, (mehr oder minder simpler) Postfilter? Enttäuschend. Uns wurde "Neural Rendering" versprochen, aber noch immer hat die KI keine Zugriff auf die Rohdaten der Engine, keinen eigenen Überblick über die zeitliche Entwicklung, keinen dreidimensionalen Bezug zur Szene. Ich bin jetzt schon enttäuscht – nicht von der Qualität, die im Herbst kritisch zu prüfen sein wird, von den 08/15 Ambitionen, was man überhaupt erreichen möchte.
  
  Zitat
  
  1. „Nur ein Postfilter"?
  
  Ein Postfilter sieht nur fertige Pixel — DLSS 5 ist ein distilliertes one-step Diffusion-Transformer-Modell.
  
  Ed Liu, NVIDIA (Director of Applied Deep Learning Research) · 14:20
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Zitat
  
  2. „Kein Zugriff auf Engine-Rohdaten"?
  
  Das Modell bekommt direkt interne Buffer aus dem Renderer geliefert.
  
  Ed Liu · 11:54
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Ed Liu · 10:29
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Zitat
  
  3. „Keine zeitliche Übersicht"?
  
  Ed Liu · 12:51
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Ed Liu · 13:14
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Zitat
  
  4. „Kein 3D-Bezug zur Szene"?
  
  Gavriil, Creative Artist · 16:20
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Gavriil · 19:09
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Gavriil · 21:11
  [Ins Forum, um diesen Inhalt zu sehen]
  Material für Material unterschieden — ein flacher Filter kann das per Definition nicht.
  
  Zitat
  
  5. „Uns wurde Neural Rendering versprochen"?
  
  Genau das wurde auf der Bühne beschrieben.
  
  Ed Liu · 23:42
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Ed Liu · 26:28
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Jensen Huang, CEO · 3:33
  [Ins Forum, um diesen Inhalt zu sehen]
  
  Zitat von Algo
  
  Nein dieses DLSS5 "Neural Rendering" hat keinen Zugriff auf Geometrie oder Texturen.
  Hat ein Nvidia Ingenieur selbst erklärt.
  DLSS5 nutzt den fertig vom Spiel gerenderten Frame (das 2D-Bild welches auf deinem Monitor landen würde) darauf macht DLSS5 sein "neurales" Aufhübschen. Um das ganze stabiler zu bekommen ohne Flackern bekommt man noch die Standard Motionvectors mit im DLSS5. Das ist im Prinzip ganz normales DLSS Upscaling, nur dass man statt nur zu versuchen das Bild möglichst Orignialgetreu zu skalieren, versucht die "neural"-KI noch Details und bessere Lichtverhältnisse dazuzudichten.
  
  Also ja es ist ein fancy Post Processing .... mehr nicht.
  
  Du hast halb richtig zugehört — und genau da liegt der Fehler. Ja, Ed Liu hat gesagt, dass der gerenderte Frame das Hauptsignal ist. Aber derselbe Ingenieur hat im selben Vortrag gesagt, was außerdem noch reinkommt — und das widerlegt deinen Schluss direkt.
  
  Zitat
  
  1. „Kein Zugriff auf Geometrie oder Texturen"?
  
  Doch — beides. Albedo ist die Basis-Farbtextur des Materials, Surface Normals sind die geometrische Oberflächenausrichtung pro Pixel. Genau diese internen Buffer nennt Ed Liu als Modell-Inputs:
  
  Ed Liu · 11:54
  "We use some of the renderer's internal buffers such as albedos, surface normals, and some of the lighting information to make sure the model can understand what it has to stay consistent with."
  
  Albedo = Texturdaten. Normals = Geometriedaten. „Keinen Zugriff" ist damit vom selben Ingenieur widerlegt.
  
  Zitat
  
  2. „Nur der fertige 2D-Frame, der auf dem Monitor landet"?
  
  Der Frame ist der Anker — aber eben nicht allein:
  
  Ed Liu · 10:29
  "It's not a prompt, it's not a reference, it's not a proxy scene — it's the renderer's own output."
  
  Ed Liu · 10:51
  "A very information-dense and pixel-aligned view of the current shot — it provides the grounding for character identity, the lighting setup, the mood, the camera composition."
  
  Ein Post-Processing-Filter bekommt nur dieses Bild. DLSS 5 bekommt Bild + Albedo + Normals + Lichtinfo + Motion Vectors. Genau das ist der Unterschied.
  
  Zitat
  
  3. „Ganz normales DLSS Upscaling, nur mit dazugedichteten Details"?
  
  Klassisches DLSS ist Reconstruction — es rekonstruiert das Originalbild möglichst originalgetreu. DLSS 5 ist laut Ed Liu eine neue, dritte Kategorie daneben: Generation.
  
  Ed Liu · 23:42
  "DLSS 5 is adding a third : generation — because now the model actually changes and generates the final appearance in the image."
  
  Und „dazudichten" trifft es nicht — das Modell ist strikt an Frame und Buffer gebunden:
  
  Ed Liu · 12:18
  "The scar can pick up better skin shading, but it should never disappear. DLSS 5 must change the image in a way that it does not change the story."
  
  Zitat
  
  4. „Fancy Post Processing — mehr nicht"?
  
  Post Processing sieht nur das fertige Bild und kennt die Szene nicht. DLSS 5 läuft kausal pro Frame in der Pipeline und bekommt Engine-seitige plus semantische Masken:
  
  Gavriil · 20:35
  "You can mask as you see fit — you can have as many masks as you want, and control the sliders independently."
  
  Gavriil · 19:09
  "This is coming entirely from the model side, because the model understands the semantics of the scene."
  
  Ed Liu · 14:20
  "It's still not a regular filter, because it inherited all the broad world knowledge from those giant foundational models."
  
  Was stimmt: DLSS 5 hat keinen Zugriff auf den vollen Szenengraph — keine Roh-Meshes, keine Texturdateien, und der gerenderte Frame ist der Anker. Aber „keinen Zugriff auf Geometrie oder Texturen" ist falsch, solange Albedo und Surface Normals explizit genannte Inputs sind.
  
  Zitieren
  
  Von DaR3aP3r Komplett-PC-Aufrüster(in)
  
  Zitat von purzelpaule
  
  Inwieweit profitiert z. B. Minecraft von Raytracing? Macht es das Spiel wirklich besser? Ist es für diese Art Spiel nötig? Gehts das nicht eher um die Möglichkeiten die das Gameplay bietet. Oder ein Fortnite, dass irgendwann RT eingeführt hatte. Haben / hatten die Spieler dadurch mehr Spaß am Spiel?
  
  Ich will ja niemanden was wegreden. Soll jeder es so genießen wie er mag.
  
  Mir reicht - wie gesagt - hübsch aber vor allem .. lieber in gutes Gameplay investieren und in Story etc., denn Grafik ist in meinen Augen nicht so wichtig, wie das Genannte. Nettes Beiwerk.
  
  Minecraft oder auch Fortnite mögen weniger davon profitieren, aber es gibt ja auch noch andere Spiele, mich reizen die beiden genannten mal so überhaupt nicht.
  Ich spiele im Moment z.b. Euro Truck Simulator und The Hunter: call of the wild, beides Spiele die von ihrer Graphik leben, und je schöner es aussieht, umso besser.
  
  Kommt eben immer auf den Anwendungsfall an, und wenn jetzt eine Technologie dazu kommt die dabei hilft alles noch realistischer und Immersiver zu machen ist das doch gut
  
  Zitieren
  
  Von Acgira BIOS-Overclocker(in)
  
  Zitat von RX480
  
  RT/PT brauchts dann nicht mehr, weil die KI alle indirekten Lichter/Schatten selbst neu erfindet, ... und die globale Beleuchtung
  soundso verändert.
  
  wenn das Rasterizing-Fakelicht großräumig an der falschen Stelle dunkel oder hell, wird dass die KI nicht ausgleichen können - in den Gesichtern vielleicht, aber nicht überall in der Umgebung.
  
  KI untersucht ja nur die ausgegeben Pixel nicht die Konstruktion, und ich merk dass bei den Skizzen die ich mit KI aufwerten lasse, wenn Umrisskanten hintereinander liegen, weiß die KI oft nicht welche Kante zu welchen Objekt gehört und dann entstehen Interpretionsfehler, die oft genug fatal aussehen.
  
  Zitieren
  
  Direkt zum Diskussionsende

Hoch

Print / Abo

Apps