Nvidia Reflex 2: Mit "Frame Warp" zu besseren Latenzen - bisher nur zwei Spiele angekündigt
Nvidia hat die CES 2025 nicht nur für die Vorstellung neuer Grafikkarten genutzt, sondern auch Reflex 2 angekündigt. Die neue Generation baut auf der ersten Version auf, verspricht aber mit "Frame Warp" grundsätzliche Verbesserungen.
Die große Nvidia-Keynote zur CES 2025 liegt hinter uns. Erwartungsgemäß hat CEO Jensen Huang auf der rund zweistündigen Präsentation die Grafikkarten der Blackwell-Generation vorgestellt. Mit der RTX 5090 und RTX 5080 sowie der RTX 5070 (Ti) gibt es aber nicht nur neue GPUs zu bestaunen und zu bewerten, sondern auch neue Software, die dahintersteckt. So folgt mit der Einführung der RTX-5000-Generation neben dem Start von DLSS 4 auch eine neue Generation der Reflex-Technologie, die Nvidia in einem Blogeintrag ausführlich vorstellt.
Reflex 2 baut auf der ursprünglichen Technik auf und beinhaltet somit den klassischen Low-Latency-Modus - die Krux an der neuen Variante ist die "Frame Warp" genannte Lösung. So habe das Forschungsteam bereits vor vier Jahren eine Studie veröffentlicht, wie Spieler "Zielvorgaben schneller erfüllen, wenn Frames nach dem Rendern auf Grundlage aktueller Mauseingaben aktualisiert werden". Reflex 2 macht sich diese Feststellung zunutze.
So soll während des GPU-Renderings eines Frames die CPU die Kameraposition des nächsten Frames in der Pipeline berechnen. Diese basiere wiederum auf den jüngsten getätigten Maus- oder Controllereingaben. Frame Warp übernimmt an dieser Stelle die Kameraposition und führt eine Anpassung des soeben von der GPU gerenderten Frames durch. Dieser Warp-Prozess geschehe "so spät wie möglich", um sicherzustellen, dass auch tatsächlich die jüngste Mauseingabe wiedergegeben wird.
Durch diese Verschiebung der Pixel entstehen allerdings auch "Löcher im Bild", wie Nvidia erklärt. Hier kommt eine KI-Lösung zum Einsatz, die die Entwickler als "latenzoptimierten, vorausschauenden Rendering-Algorithmus" bezeichnen. Die entstehenden Löcher werden hierdurch gewissermaßen aufgefüllt: Kamera-, Farb- und Tiefeninformationen sollen als Parameter dafür genutzt werden, um die Risse zu stopfen und wieder ein einheitliches Bild zu schaffen.
Nvidia zeigt im Verlauf auch erste herstellereigene Benchmarks zu Reflex 2, die auf Basis einer Geforce RTX 5070 im Shooter "The Finals" gemessen wurden. So soll die Latenz hier ohne den Einsatz von Reflex bei 56 Millisekunden liegen. Mit der ersten Generation der Technik wird der Wert auf 27 Millisekunden reduziert, während Reflex 2 mit 14 Millisekunden nochmals einen drauflegen soll.
Zudem erklärt Nvidia, dass das Frame-Warp-Feature unabhängig von CPU- und GPU-Limitierungen immer einen Latenzvorteil ermöglichen soll. Viele Spiele werden aber zunächst nicht in den Genuss der neuen Generation kommen: Für den Anfang sind lediglich The Finals sowie Valorant als unterstützte Titel angekündigt. Zudem wird Reflex 2 anfangs exklusiv den RTX-5000-Grafikkarten vorbehalten sein - zu einem noch nicht veröffentlichten Zeitpunkt sollen aber künftig alle RTX-GPUs von der Technik profitieren.
Optimiert wird jedenfalls die Befehlsverarbeitungskette zwischen CPU und GPU. Normalerweise würden neue Eingaben dort bis zum Beginn eines neuen Renderpasses warten. Mit ASW/ATW und mutmaßlich/scheinbar auf FW können sie dagegen von der CPU in ein bereits laufendes Rendering gedrückt und so einen (CPU*-)Frame früher dargestellt werden.
*: Wie die Technik mit Frame Generation harmoniert, habe ich noch nicht gelesen; ebenso wenig Aussagen zu Kombinationen mit Tiple-Buffering wo ggf. 2 Frames Latenz eingespart werden könnten. ASW und ATW respektive das HTC-/Valve-Gegenstück werden nicht nur genutzt, um einen Frame kurz vor der Ausgabe anzupassen, sondern auch um beim nächsten Ausgabezeitpunkt notfalls eine aktualisierte Darstellung aus den vorangehenden Frames zu extrapolieren, wenn die GPU noch nicht fertig ist. Bei z.B. 50 Render-Fps kann das bis zu 30 ms Latenz einsparen und VR erst ermöglichen. Das viel später erschienene DLSS-FG interpoliert aber aus mir unerfindlichen Gründen, daher möchte ich über eine Kombination mit Warping nicht spekulieren.
Aber ich habe ohnehin den Eindruck, dass die gezeigten Werte einfach nur einmal nativ sind und mit Reflex 2.0 sind es dann quasi Werte mit DLSS Performance; denn damit bekommt man das natürlich hin, denn man senkt die Rechenlast und kann mehr FPS auf den Bildschirm zaubern, bzw. berechnen.
Soweit ich es Nvdias (sehr oberflächlicher) Schilderung entnehmen kann, setzen die jetzt auf ein ASW-ähnliches Verfahren. Aber laut Angabe werden die zusätzlich nötigen Bildinformationen wohl nicht spekulativ vorabgerendert, sondern nach Feststellung des Bedarfs mittels KI erraten. Wenn diese vereinfachte Darstellung stimmt, würde ich teils heftige Artefakte am Bildrand erwarten, denn dort müsste die KI bei Schwenks neue Inhalte vorhersagen, die noch nie zu sehen waren. Ich würde daher mal vermuten/hoffen, dass auch Nvidia intern mit einem vergrößerten Viewport arbeitet. Allerdings würde das auch eine GPU-Mehrbelastung implizieren. Im VR-Bereich wird/wurde teilweise mit 20 Prozent Overdraw gearbeitet und dort hat man noch die physisch limitierte Bewegungsgeschwindigkeit (Kopf + Headset sind träge) sowie die reduzierten Qualitätsansprüche im peripheren Sichtbereich auf seiner Seite. Ich bin mal gespannt, wie sich Reflex 2 schlägt, wenn bei den ruckartigen Bewegungen in kompetitiven Multiplayer-RTS/MOBA/... oder auch bei sehr schnellen Shootern 20-50 Prozent des Bildausschnitts von einem Frame zum nächsten ausgetauscht werden. Bei Top-Down-Spielen bedeuten 50 Prozent Verschiebung einen potenziellen Sichtbereich, der viermal größer als die native Anzeige ist. Und laut Nvidias eigenen Angaben sind bei DLSS4 schon 15 von 16 angezeigten Pixeln nur interpoliert.
(Aber zum Glück haben wir realitätsfernes Rasterizing überwunden, bei dem 1/16tel jedes Pixles hingepfuscht wurde.^^)
Die grundlegende Technik, also Informationen von Eingabegeräten
zu extrapolierenzu nutzen um Zwischenbilder zu berechnen, gibt es nun schon seit etwa 7 Jahren im Bereich VR, wo es seinen Zweck durchaus brauchbar erfüllt. Denn bei VR ist die verzögerungsfreie Umsetzung von Kopfbewegungen für die meisten Leute zwingend notwendig um nicht unter Motion Sickness zu leiden. Ganz frei von Artefakten ist zumindest diese Technik nicht. Dabei könnte Nvidias Lösung durch KI punkten.