DLSS, Pathtracing und die KI - Mit Nvidia im Interview

In der PCGH-Ausgabe 07/2023 haben wir uns für den Artikel "Spiele-Grafik der Zukunft" mit den diversen Problemen und technischen Unzulänglichkeiten aktueller Spiele beschäftigt. Prominent vertreten etwa durch Spiele wie Hogwarts Legacy oder SW Jedi: Survivor und die offenkundig etwas in die Jahre gekommene Unreal Engine 4. Doch statt nur Trübsal zu blasen und über ruckelige Spiele zu klagen, wollten wir uns insbesondere der Frage stellen, was der Misere abhelfen könnte. Dazu haben wir unter anderem die Unreal Engine 5, frische Streaming-Ansätze und neue Rendertechnologien in den Fokus genommen. Wir haben darüber hinaus das Thema KI betrachtet, inklusive der Art und Weise, wie die Künstliche Intelligenz die Spiele-Entwicklung vereinfachen und wie diese - wohl bereits in sehr naher Zukunft - unsere Spiele und die Interaktion der Nutzer mit ihnen verändern
könnte.

Um uns für dieses Unterfangen zusätzliche Fachkompetenzen einzuholen, haben wir mit einigen erfahrenen Industrie-Vertretern gesprochen, darunter Pawel Kozlowski, den Senior Developer Technology Engineer bei Nvidia. Pawel kümmert sich bei Nvidia in erster Linie um das spannende Feature Pathtracing und auf welche Weise die feine Strahlenverfolgung in Spielen genutzt werden kann - etwa unter Zuhilfenahme von DLSS 3.0 respektive einer Frame Generation. Es geht bei dem Interview allerdings auch ein wenig um zukünftige Spiele und deren Entwicklung, beispielsweise in Form der Unreal Engine 5 und dem dort im Editor nutzbaren Pathtracing. Kurz nach dem Interview - passend zum Launch der RTX 4060 Ti - wurde obendrein der DLSS-3.0-Support offiziell für die UE5 angekündigt. Wenn Sie mehr zur Arbeit von Pawel und Pathtracing allgemein erfahren möchten, ist hier eine der Publikationen, an denen er mitgewirkt hat: Real-Time Path Tracing and Beyond.

Pathtracing, DLSS und die Zukunft - Das Interview

PCGH: Danke, dass du dir für uns und unsere Fragen Zeit genommen hast. Wie wir ja bereits im Vorfeld verlauten lassen haben, soll es in diesem Interview um die nahe Zukunft des PC-Gamings und auch der Spiele-Entwicklung gehen. Was können Spieler also erwarten und können diese Techniken eventuell gar die Spielentwicklung vereinfachen?

Quelle: Pawel Kozlowski/LinkedIn.com Pawel Kozlowski - Senior Developer Technology Engineer, Nvidia Pawel Kozlowski: Eine Sache, die wir bei Nvidia stets versuchen, voranzutreiben, ist der grafische Status quo. Und es ist wirklich beeindruckend, dass wir nun mit Pathtracing im Grunde einen Offline-Renderalgorithmus - also eine Rendering-Methode, die bislang in Echtzeit nicht möglich war, nun tatsächlich in Spielen nutzen können. Natürlich funktioniert das aktuell auf Grafikkarten, die sich nicht jeder leisten kann oder möchte, aber es ist natürlich trotzdem fantastisch, dass sich Pathtracing wie etwa in Cyberpunk 2077 nun beispielsweise mit einer RTX 4090 flüssig realisieren lässt.

Das ist, denke ich, der Weg vorwärts: Wir können mit diesem Algorithmus das Licht in Spielen der Realität näherbringen - und eine Qualität erreichen, die wir bislang eher aus Kinofilmen kennen. Und ich glaube, je stärker wir uns hier engagieren, je mehr Anwendungsgebiete es für Pathtracing gibt, desto schneller und natürlicher wird auch die Adaption bei Spiele-Entwicklern und -Engines geschehen. Mehr und mehr Studios werden Pathtracing auf dem Radar haben und erkennen, dass diese Technik immer stärker an Bedeutung gewinnen wird. Wir werden uns definitiv bemühen, Pathtracing in unterschiedliche Engines zu bringen, selbst wenn die Entwickler es dann in Spielen nicht anbieten. Oder zumindest nicht auf den Konsolen, denn für High-End-PCs könnte man so mit relativ wenig Aufwand ein optionales Pathtracing-Preset anbieten. Da Spiele auch auf schwächeren PCs, den Konsolen und gar Mobile laufen sollen, wird eine vollständige Adaption wohl noch viele Jahre auf sich warten lassen. Dank unseres Pathtracing-Ansatzes können Entwickler diese Technik aber schon jetzt für Enthusiasten anbieten.

Pathtracing in Engines anzubieten - etwa der Unreal Engine 5 - hätte allerdings dennoch Vorteile, auch für die Entwickler. Ich nehme an, ihr seid mit den vorherigen, konventionellen Herangehensweisen auf zumeist Probe-Basis vertraut? Also etwa auf Probes basierende Spiegelungen oder indirekte Beleuchtung. Bei diesen gibt es mehrere Probleme, oft entstehen Artefakte und es ist ein großer Arbeitsaufwand für Entwickler, bis die Ausleuchtung der Szene mithilfe von Light-Probes glaubwürdig wirkt.

Quelle: Epic Die Unreal Engine 5 unterstützt seit Version 5.1 einen Pathtracing-Ansatz in der Beta-Version. Mit Pathtracing braucht man im Grunde nur die Geometrie und die Lichtquellen zu platzieren. Dann muss man Pathtracing eigentlich nur noch einschalten, um eine realistische Ausleuchtung der Szene zu erhalten. Dabei kann Pathtracing von Entwicklern auch als eine Art Vorlage genutzt werden, also zum Beispiel zur Orientierung für weniger leistungsintensive Grafik-Presets nutzen. Denn als Entwickler weiß man dann immerhin, wie es korrekt ausgeleuchtet aussehen sollte.

PCGH: Ja, das wollten wir gerade anmerken: Als Entwickler könnte man im Editor Pathtracing nutzen, um daran festzumachen, an welchen Stellen die Probes platziert werden müssen, um eine möglichst glaubwürdige Ausleuchtung zu erzielen. Pathtracing könnte also als Vorlage für eine konventionelle Beleuchtung dienen.

Quelle: Epic Pathtracing kann mit der UE 5.1 auch direkt im Editor eingesetzt werden. Etwa, um korrekte, realistische Lichtwürfe zu prüfen und mithilfe des Pathtracings beispielsweise Probes für eine konventionelle Beleuchtung besser platzieren zu können.

Pawel Kozlowski: Korrekt. Und genau das wollen wir ein wenig vorantreiben: Wir möchten, dass Pathtracing in die Entwicklungsarbeit einfließt. Selbst wenn keine dedizierte Pathtracing-Option im entsprechenden Spiel angeboten wird, können Entwickler die Beleuchtung mithilfe von Pathtracing physikgetreuer gestalten. Ein solches Entwickler-Tool in Engines anzubieten, würde es außerdem vereinfachen, beide Ansätze anzubieten. Es wäre sehr viel einfacher, neben einer auf Probes basierenden Ausleuchtung optional Pathtracing in Spiele zu integrieren, wenn sich die konventionelle Beleuchtung an dem Pathtracing-Ansatz orientiert. Optimalerweise müssen die Entwickler dann nur einige Schalter umlegen und das Ganze funktioniert. Bei einer solchen Herangehensweise würde eine zusätzliche Pathtracing-Option also nur wenig Entwicklungsaufwand bedeuten.

Genau dies möchten wir im Grunde anstoßen. Und wir beobachten definitiv ein gesteigertes Interesse, wenn es um Pathtracing geht. Cyberpunk 2077 mit Pathtracing hat gezeigt, dass sich die Technik schon heute nutzen lässt - klar, dazu wird State-of-the-Art-Hardware benötigt, ihr wisst schon, das obere eine Prozent des Marktes. Aber es ist nichtsdestotrotz möglich, aufwendige Triple-A-Games mit Pathtracing und angemessen hohen Bildraten zu genießen. Und das ist doch fantastisch!

Dabei greifen natürlich auch Optimierungen und weitere Technologien wie DLSS unterstützend ein. Wir haben es zum Beispiel bewerkstelligt, beim Einsatz von Pathtracing die Ausführung der Shader zu beschleunigen. Wir sortieren diese im Prinzip neu und gruppieren sie, um eine gleichzeitige Ausführung auf der GPU zu gewährleisten, die sehr gut darin ist, solcherlei Aufgaben parallel abzuarbeiten. Wir verfolgen ("tracen") also den Weg eines Strahls und prüfen, auf welche Materialien dieser trifft und gruppieren die Shader dann so, dass sie parallel statt seriell abgearbeitet werden können.

Quelle: PC Games Hardware Cyberpunk 2077 ist ein sehr anschauliches und attraktives Beispiel für Pathtracing sowie moderne Upsampling-Verfahren samt Frame Interpolation. PCGH: Ihr gruppiert die für die Materialdarstellung nötigen Shader also so, dass die jeweiligen Gruppen stets möglichst zugleich in der Renderpipeline abgearbeitet werden können, um die GPU-Auslastung zu begünstigen und Verzögerungen zu vermeiden?

Pawel Kozlowski: Ja, genau. Wir prüfen zuerst per Taststrahl, welche Materialien beziehungsweise Shader für die aktuelle Berechnung benötigt werden, dann packen wir sie in eine Thread-Gruppe, die von der Grafikkarte parallel abgearbeitet werden kann. Im aktuellen Beispiel von Cyberpunk erlaubte uns dies, die Performance um etwa 25 Prozent zu erhöhen. In nativer 4K-Pathtracing-Darstellung ohne Upsampling steigt allein dadurch die Performance einer RTX 4090 von vielleicht 15 auf 25 Fps. Das ist schon ordentlich.

Und dann haben wir natürlich DLSS und die Frame Generation. Durch diese können wir eine weitere Erhöhung der Performance erreichen und die Bildraten gut und gerne um den Faktor x3 verbessern. Und das wirklich beeindruckende ist doch, dass dies nicht einmal wirklich auf Kosten der Bildqualität geht. Man braucht im Grunde bloß einen Schalter zu drücken und kann sich dann flüssiger Pathtracing-Grafik erfreuen. Das Feeling ist einfach großartig, wenn man eine Grafik, die bislang nur in Renderfilmen möglich war, bereits heute mit flüssigen Bildraten in Echtzeit genießen kann.

PCGH: Pathtracing dürfte wohl erst einmal dem PC vorbehalten bleiben. Die Konsolen verfügen ja außerdem bislang über keine DLSS-3.0-Alternative bzw. eine Frame Generation. Aber vielleicht kommt vor Next-Gen noch ein Hardware-Upgrade.

Pawel Kozlowski: DLSS 3.0 ist ausgesprochen hilfreich. Tatsächlich nicht nur beim Spielen, sondern beispielsweise auch bei der Spielentwicklung. Falls die Engine DLSS-3.0-Support bietet (Anmerkung: wie ihn nun offiziell die Unreal Engine 5 erhalten wird; das Interview fand einige Tage vor der offiziellen Ankündigung statt), dann könntet ihr zum Beispiel Pathtracing im Editor nutzen, ohne dass dabei die Frameraten einbrechen oder ihr nach jeder Kamerabewegung mehrere Sekunden warten müsst, bis die Lichtberechnungen abgeschlossen sind. Mithilfe von DLSS 3.0 der Frame Generation und der KI wird es also möglich, diese Technologien heute schon zu nutzen.

Und das ist im Grunde unsere Philosophie - wir möchten die Spiele-Grafik vorantreiben, neue technische Standards etablieren. Und wir wollen mit diesen technischen Errungenschaften neue Möglichkeiten eröffnen, optische Fortschritte realisieren, die bislang schlicht nicht möglich waren. Und ich denke, Pathtracing und die Nutzung der KI sind der richtige Weg, dem auch die restliche Industrie folgen wird.

PCGH: Vielen Dank für das Gespräch!

Pathtracing, DLSS und die Zukunft - Fazit zum Interview

Im Interview hat Pawel einige interessante Punkte zur Sprache gebracht. Die Integration von Pathtracing in die Unreal Engine 5 ist etwa sehr interessant. Diese könnte es Entwicklern in naher Zukunft ermöglichen, ein optionales Pathtracing für High-End-PC-Spieler nicht nur zu integrieren, sondern die Technik im Editor auch dazu einzusetzen, um daran die reguläre, auf Probes basierende Beleuchtung zu orientieren. Dieses muss zumindest auf absehbare Zeit noch unterstützt werden, um die große Masse der Spieler zu bedienen. Spannend ist in diesem Zusammenhang natürlich auch der nun offizielle DLSS-3.0-Support für die Unreal Engine 5, ein Punkt, um den Pawel zum Zeitpunkt des Interviews noch etwas herumtanzen musste. Die offizielle Ankündigung erfolgte - für uns nicht direkt überraschend - nur wenige Tage später, zum Launch der RTX 4060 Ti.

Recht interessant ist auch, welche Absichten Pawel für Nvidia beschreibt. Der Fokus des Gaming-Segments des Herstellers liegt klar auf Pathtracing und High-End-PCs. Hier will Nvidia neue Maßstäbe setzen, die Technik vorantreiben, neue Features bieten. Die Konsolen und der PC-Mainstream sollen dem so gesetzten Ziel darauf (später) folgen. Und natürlich bietet sich in diesem Zusammenhang mit DLSS 3.0 respektive der KI-unterstützten Frame Generation außerdem die Möglichkeit, das Gaming- mit dem sehr lukrativen und hochdynamischen KI-Segment zu verbinden.

Wenn Sie mehr zu den Themen zukünftige Spiele-Technik, KI-Implementationen mit neuen, spannenden Entwicklungen und darüber hinaus Details zur Unreal Engine 5 sowie den technischen Herausforderungen aktueller Games erfahren möchten, legen wir Ihnen unseren Print-Artikel in der PCGH 07/2023 ans Herz. Dieser ist auch online in Form eines Plus-Artikels verfügbar. In diesem erfahren Sie nicht nur zusätzliche Details zum Thema, sondern können auch ein weiteres interessantes Interview mit Branchen- respektive KI-Experten lesen.

Artikel teilen

DLSS, Pathtracing und die KI - Mit Nvidia im Interview Wir haben für einen Print-Artikel zum Thema zukünftige Spieletechnik, den absehbaren Einfluss der KI auf die Spielentwicklung sowie die Spielgrafik der Zukunft ein Interview mit Pawel Kozlowski, Nvidias Senior Developer Technology Engineer geführt. Dieses Interview enthält einige interessante Punkte, die wir Ihnen nicht vorenthalten wollen. Wir veröffentlichen das redaktionell überarbeitete Interview daher für Interessierte als eigenständigen Artikel.

Per E-Mail versenden

21