Nvidia-Forschung: Neurale Physik für beeindruckende Haar-Simulation und mehr
Auf der diesjährigen SIGGRAPH 2023 will Nvidia rund 20 Forschungsarbeiten präsentieren. Eine Auswahl an Highlights zeigt man bereits vorab. Darunter finden sich neue Einsatzmöglichkeiten von generativer KI, KI-gestützte Haar-Animationen und ein effizienterer Ansatz für Textur-Kompression auf Basis von KI.
Schon weit im Vorfeld der diesjährigen SIGGRAPH 2023, die im August stattfindet, gibt es seitens Nvidia eine Vorschau darauf, welche neuen Technologien im Rahmen der Konferenz ausführlicher vorgestellt werden. In einem aktuellen Blog-Beitrag widmet sich das Unternehmen kommenden Innovationen aus der eigenen Forschung in Verbindung mit KI.
Rund 20 neue Forschungsarbeiten sollen vorgestellt werden. Interessant ist vor allem die Demonstration von realistisch simulierten Haaren, die detailliert dargestellt werden und sich realistisch verhalten. Um das zu bewerkstelligen, wird zur "Neural Physics" gegriffen. Damit sollen "zehntausende von Haaren in hoher Auflösung und Echtzeit" animiert werden können. Die Technologie macht sich die hohe Parallelisierbarkeit moderner GPUs zunutze und setzt auf das Konzept von "Discrete Elastic Rods" (DER). Auf KI wird zurückgegriffen, um das Verhalten des jeweiligen Objekts hinsichtlich jenes Verhaltens in der echten Welt vorherzusagen. Die Technologie reduziere letztlich die benötigte Rechenzeit für Simulationen von mehreren Tagen auf wenige Stunden, während ebenso die Qualität von Echtzeit-Simulationen gesteigert werde.
Ebenfalls auf Verbesserungen bei Echtzeit-Rendering ist das "Neural Rendering" bedacht, welches die Texturqualität zum Teil deutlich anheben soll. Im Fokus steht die KI-basierte Textur-Kompression, die es erlaube, die Textur-Details um einen bis zu 16-fachen Faktor zu steigern, ohne dabei den GPU-Speicher zusätzlich zu belasten. Bereits im Vorjahr zeigte Nvidia eine ähnliche Technologie im Kontext von volumetrischen Inhalten wie Rauch, Feuer, Wolken und Wasser, welches mittlerweile auch als Early Access in Form von NauralVDB genutzt werden kann und auf OpenVDB aufbaut.
Um generative KI geht es derweil in Nvidias eigenem Text-to-Image-Ansatz sowie Inverse Rendering und Charakter-Erstellung. Ersteres in vom Konzept bereits bekannt. Ein Text-Prompt wird in Bildmaterial umgewandelt, welches wiederum als "Inspiration" für Produkte und Inhalte genutzt werden könne. Innovativ sei dabei die erheblich verringerte Zeit, die zur Individualisierung brauche. Laut Blog-Beitrag werde in einem der Paper beschrieben, wie dies mittels einem Input-Bild anstatt mehrerer Minuten lediglich 11 Sekunden bei Nutzung einer Nvidia A100-GPU dauere. Das Modell "Perfusion" erlaube derweil eine rasche Kombination von Konzept-Bildern zu einem neuen Inhalt.
Inverse Rendering und Charakter-Erstellung werden indes in zwei weiteren Forschungsarbeiten thematisiert. Nvidia investiere nach eigenen Angaben Ressourcen in die Umwandlung von 2D-Inhalten in 3D-Modelle, die zur weiteren Bearbeitung importiert werden können. Konkrete Praxisanwendungen gibt es beispielsweise von den Forschern der University of California, die eine Methode entwickelt haben, ein einzelnes 2D-Portrait in Echtzeit in ein fotorealistisches 3D-Modell mit Kopf und Schultern umzuwandeln. Mit KI-generierten Animationen haben sich Forscher der Stanford University beschäftigt, die aus 2D-Videomaterial gewonnen und auf 3D-Modelle übertragen werden.
Weitere Innovationen und Forschungsarbeiten abseits der bereits vorgestellten Highlights will Nvidia im Rahmen der SIGGRAPH 2023 präsentieren. Ebenso wirbt man mit sechs Kursen, vier Talk-Runden sowie zwei "Emerging Technology"-Demos, bei denen es unter anderem um Pathtracing, Telepräsenz und generative KI geht.
[Ins Forum, um diesen Inhalt zu sehen]
Nur so geht die Entwicklung voran.
In 10 Jahren, schätze ich mal grob, werden wir 3D Echtzeitgrafiken sehen, welche den CGIs in heutigen Hollywoodfilmen in nichts mehr nachstehen. Dann dürfte man auch genug Rechenleistung zur Verfügung haben.
In weniger als 10 Jahren wird man die ersten KI erzeugten Spiele spielen.
Das spart massiv Ressourcen.
Gruß Yojinbo