Neuronales Supersampling: DLSS-Alternative von Facebook
Forscher von Facebook haben in einer Veröffentlichung sogenanntes "Neuronales Supersampling" vorgestellt. Dabei hatten es sich um eine Upsampling-Methode, die dem DLSS von Nvidia ähnelt, aber keine bestimmte Hardware benötigt.
Nvidia verwendet für sein "Deep Learning Super Sampling" (DLSS) sogenanntes Maschinenlernen, um die Bildqualität von Spielen zu verbessern. Allerdings sind dafür auch neuere Grafikkarten und die entsprechende Treiberunterstützung von Nvidia notwendig.
Das von Forschern bei Facebook vorgestellte "Neuronale Supersampling" ist mit DLSS stark verwandt, braucht jedoch keine bestimmte Hardware. Die Qualität der entstehenden Bilder soll dabei laut den Forschern der von DLSS entsprechen. Die neue Methode soll sich einfach in moderne Spiele-Engines integrieren lassen und kann auch für andere Systeme, Beschleunigungshardware oder Displays verwenden lassen. Inwiefern Facebook das zulassen wird, geht aus dem Paper nicht hervor.
Technisch nutzen die Forscher die Tatsache, dass sich die Bewegungsvektoren in einer Rendering-Engine im Gegensatz zur Bearbeitung von Fotos exakt und in großer Menge auslesen lassen. Diese Daten dienen dann als Grundlage für das "Neuronale Supersampling". Zusammen mit einem neuartigen "Spatio-Temporal Neural Network" wird die Bildqualität in Echtzeit maximiert.
Facebook hat das "Neuronale Supersampling" zwar vor allem für Augmented und Virtual Reality und damit wohl für Oculus entwickelt, aber wie die Forscher schon schreiben, sind auch andere Einsatzmöglichkeit wie herkömmliche 3D-Videospiele denkbar. Das dürfte dann vor allem auch für Besitzer von AMD-Grafikkarten interessant sein. Auch Spiele-Konsolen könnten von "Neuronal Supersampling" profitieren. Wie beeindruckend die neue Methode zur Bildverbesserung ist, zeigt auch das YouTube-Video unterhalb dieser Meldung.
Im Paper wird beschrieben das man den Einsatz vor allem bei Szenen sieht die komplett auf Raytracing setzen. Anhand einer Beispielszene die auf einer Titan RTX in Unity gerendert wurde brauchte ein einzelner Frame in 1600x900 141ms. In reduzierter Auflösung 400x225 braucht der Frame "nur" 26,4ms + Upsampling auf 900p 17,7ms. Insgesamt hat man dann eine Renderzeit von 44,1ms (ca. 23FPS) für eine Szene wo jeder Pixel per RT gerendert wird in 900p mit 90-97% Übereinstimmung des Bildes mit dem echten Bild.
Das ist schon sehr beeindruckend, auch wenn zusätzliche 24ms fürs Upsampling in 1080p noch recht viel sind. Selbst wenn man die Auflösung sehr niedrig einstellen kann und dann quasi im CPU Limit hängt mit sagen wir mal 200 FPS (5ms) werden daraus mit Upsampling dann 33FPS. Interessant wäre ein Vergleich mit DLSS 2.0 bzw. zumindest ein Vergleichswert wie viele ms DLSS braucht von 270p auf 1080p und wie gut dann die Übereinstimmung mit dem echten 1080p Render ist.
Das wirkt nicht wirklich praktikabel. Da ist der Ansatz von Nvidia scheinbar schneller/besser.
Interessiert zwar keinen, aber sie kommen immer mehr. Hat dann natürlich keiner geahnt.
Facebook......hm, habe ja auch keinen Kontakt zur Mafia.
Mist sowas habe ich ja garnicht