Nvidia Neural Texture Compression: Mehr Textur-Details dank KI
Neural Texture Compression könnte künftig mehr Textur-Details liefern. Nvidia zeigt einen Ansatz für die KI-basierte Textur-Kompression im Rahmen eines Papers aus der eigenen Forschungsabteilung. Versprochen werden bis zu vierfach höhere Auflösungen bei minimal mehr Speicherbedarf und Rechenzeit.
Bislang wurden Texturen gängigerweise mit Block Compression komprimiert. Im hauseigenen Forschungslabor werkelt Nvidia jedoch an einer KI-basierten Lösung, die für erheblich mehr Details sorgen soll, ohne den Grafikspeicher nennenswert zusätzlich zu belasten.
Die sogenannte "Neural Texture Compression" (NTC) (via Videocardz.com) soll eine bis zu viermal höhere Auflösung gegenüber Block Compression bieten. In Texeln bedeutet das eine Steigerung um den Faktor 16. Der ausgearbeitete Algorithmus setzt auf die Nutzung von Tensoren für das Repräsentieren von Texturen. Ungleich der Block Compression wird beispielsweise auf Annahmen hinsichtlich vorhandener Kanäle verzichtet, dafür geht das Modell von gleich großen Texturen aus. Channel und Mipmaps werden indes gemeinsam komprimiert, was wiederum zu einer höheren Qualität und Bitrate im Vergleich mit gängigen Formaten führt. Hinsichtlich von Berechnungen macht sich die Technologie die Fähigkeiten moderner GPUs hinsichtlich von Matrizen-Multiplikation zunutze.
Letzten Endes ist die Nutzung von Neural Texture Compression langsamer im Vergleich mit Block Compression, während minimal mehr Speicherplatz benötigt wird. Dafür bietet die KI-basierte Technologie jedoch weitaus mehr Detail. Bei einem direkten Vergleich mit einer Geforce RTX 4090 brauchte es 1,15 ms bei 3,6 MB gegenüber 0,49 ms und 3,33 MB, um die NTC-basierte Textur auf den Bildschirm zu bringen.
Letztlich soll NTC dabei behilflich sein, Inhalte noch fotorealistischer zu gestalten und dabei die Limitierungen bei verfügbarem Grafikspeicher zu umgehen. Der Ansatz funktioniert auf Anfrage und die Dekompression geschieht in Echtzeit bei Random Access, womit man ähnlich zur Block Compression arbeite. Mehr Details zur Neural Texture Compression sind zur diesjährigen SIGGRAPH zu erwarten. Dort zeigt Nvidia unter anderem auch neue KI-basierte Ansätze für die Erstellung von Inhalten sowie auch Neural Physics für realistischere Haar-Animationen.
“Wir präsentieren „Neural Texture Block Compression“ at EGSR2024 ( http://www.egsr2024.uk / 3rd July – 5th July 2024) in London.
Niemand lädt gerne riesige Spielepakete herunter. Unsere Methode komprimiert die Textur mithilfe eines neuronalen Netzwerks und reduziert so die Datengröße.
Unveränderte Laufzeitausführung ermöglicht einfache Spieleintegration.”
Quelle: [Ins Forum, um diesen Inhalt zu sehen]
Somit wird wohl auch AMD bald NTC unterstützen.
Es macht also generell keinen Sinn, Spiele in so einer absurd hohen Auflösung zu Rendern. Diese Leistung kann man genau so gut in einen höheren Detailgrad innerhalb der Spiele und eine flüssigere Framerate jenseits der 120 Hz stecken, denn DAS macht wirklich einen Unterschied. Die Leute müssen langsam mal aus diesem längst überholten "höhere Auflösung=bessere Grafik"-Mindset raus. Denn allein durch mehr Pixel ist dort nicht mehr viel zu holen.
Also doch: Höhere Auflösung=Bessere Grafik.
Unabhängig davon ob jemand bei UHD oder 8K oder 50k keine pixel mehr sieht.
Es macht also generell keinen Sinn, Spiele in so einer absurd hohen Auflösung zu Rendern. Diese Leistung kann man genau so gut in einen höheren Detailgrad innerhalb der Spiele und eine flüssigere Framerate jenseits der 120 Hz stecken, denn DAS macht wirklich einen Unterschied. Die Leute müssen langsam mal aus diesem längst überholten "höhere Auflösung=bessere Grafik"-Mindset raus. Denn allein durch mehr Pixel ist dort nicht mehr viel zu holen.
Und 8k mit DLSS ist dann aauch wieder nur 4k... dann kann man sich den ganzen Zores auch sparen.
Bis wir 8k Hardware sehen, werden noch 2-4 GPU Generationen vergehen.
Die ersten "UHD cards" kamen laut Nvidia ja schon mit Kepler raus.... was schon damals ziemlicher BS war.
Aktuell klappt selbst eine 4090 unter 8k zusammen, wie ein Kartenhaus bei Windstärke 10.
Da wir auf absehbare Zeit sicherlich keine höheren Auflösungen als UHD sehen werden, lässt sich das VRAM-Problem einfach durch mehr VRAM lösen.
1: gibt es 8K, danach steht schon 10K und 16K in den Startlöchern.
2: Der VRAM Bedarf nimmt zwar, bei geringeren Auflösungen ab, ist aber nicht der dominante Faktor. Der Detailgrad der Texturen ist es, der den Ausschlag gibt. 8K und 16K Texturen (nicht zu verwechseln mit der 8K und 16K Auflösung) brauchen auch bei Full HD höllisch viel Speicher, liefern aber auch höllische Ergebnisse. Davon, alles, mit sowas auszukleiden, sind wir noch sehr, sehr weit entfernt. In Sachen Texturen kann man wohl auch 1TB+ verballern.
Vieles spricht dafür, da die Entwickler die Spiele anpassen müssen und das ganze nur auf GeForcekarten nutzbar sein wird.
1: kostest es Geld
2: ist das ganze begrenzt, man kann nicht immer größer bauen. Es gibt eine Grenze.
Alleine das zweite ist schon ein guter Grund, das ganze zu verfolgen.
Texturen werden schon seit langem komprimiert.