Nvidia: Machine Learning für bessere Spielgrafik und schnelleres Raytracing
Nvidia möchte künstliche Intelligenz in Form von trainierten neuronalen Netzwerken in die Videospielentwicklung und die Grafikberechnung bringen. Studios könnten die KI nutzen, um Gesichtsanimationen automatisiert berechnen zu lassen. Beim Raytracing ließen sich die schwarzen Lücken ausfüllen und so die Berechnungen beschleunigen.
Das Feld Machine Learning stellt für die Entwicklungsbranche noch weitgehend Neuland dar. Erste Einsatzgebiete werden zurzeit im Bereich der Spieleentwicklung eröffnet, wie Nvidia in einem Blog beschreibt. Fertig trainierte neuronale Netzwerke können sowohl für Studios als auch für Spieler Vorteile bringen. Aktuell arbeitet Nvidia bereits mit Remedy Entertainment (Quantum Break, Alan Wake, Max Payne) zusammen.
Das Studio verwendet die KI, um Gesichtsanimationen automatisiert zu berechnen. Ein neuronales Netzwerk ist anhand von Videos trainiert worden, in denen Videospielcharaktere gesprochen haben. Die KI kann daraus die Gesichtsbewegungen für beliebige Dialoge generieren, was mindestens genauso gut aussehen soll wie beim Motion-Capturing, aber viel Arbeitsaufwand spare und flexibler sei, weil Texte kurzerhand geändert werden können. Zudem sollen sich so qualitativ höherwertige Lokalisierungen in Fremdsprachen realisieren lassen. Remedy setze die Technologie bereits in der aktuellen Entwicklung ein.
Im experimentellen Stadium ist die Anwendung von neuronalen Netzwerken zusammen mit Raytracing, bei dem die Grafik durch zahlreiche virtuelle Lichtstrahlen berechnet wird, die mehrfach an Oberflächen abprallen. Je komplexer die Szene, desto mehr Lichtstrahlen und Abpraller sind notwendig, um ein fertiges Bild zu erhalten. Moderne Videospiele sind noch zu komplex, um performantes Raytracing anzuwenden. Das äußert sich in schwarzen Flecken, an denen noch kein "Ray" gelangt ist. Mit dem jüngst angekündigten Optix-5.0-SDK ist es möglich, ein trainiertes neuronales Netzwerk auf einer Pascal-GPU laufen zu lassen, mit dem per Raytracing berechnete Szenen von der KI fertiggestellt werden. Das heißt, die schwarzen Löcher werden automatisch ausgefüllt.
Eine weitere, noch nicht im SDK enthaltene Technik analysiert, welche Lichtstrahlen im finalen Bild sichtbar sein werden. Wie beim Culling von klassischer Polygongrafik werden nicht sichtbare Flächen verworfen, was die Performance steigert. Zu guter Letzt kann eine KI Kanten erkennen und diese automatisch glätten. Das soll besser funktionieren als bei bisherigen AA-Filtern, die das Bild meist weich zeichnen.
Und einem KNN würde man jetzt quasi den Shitstorm zurückspielen, damit das nächste Ergebnis besser wird.
Gesendet von iPhone mit Tapatalk Pro
Dort sind die Animationen der Gesichter zum größten Teil berechnet gewesen ... Mit dem allseits bekannten Ergebnis.
Für Echtzeitgrafiken ist es nicht die optimale Lösung.
Außerdem ist Path Tracing enorm Kosten sparend für Entwickler, da das ganze Rumgebastel mit x Lösungen um einen Level zu beleuchten entfällt.
Soll heißen mit einer solchen Renderengine könnten selbst kleinere Teams ihren Projekten eine Grafik auf dem Niveau des ersten WoW Intros verleihen.
Für Echtzeitgrafiken ist es nicht die optimale Lösung.
KNN sind eigentlich ein alter Hut und wie andere schon erwähnt haben in der Auswertung auch nicht sonderlich Rechenaufwendig.
Wundert mich schon fast dass man die "erst" jetzt einsetzen will.
Allerdings sollte man den Aufwand Manpower auch nicht unterschätzen. In der Regel braucht man riesige Mengen an manuellen Markierungen/Feedback zu den Daten um ein brauchbares NN anzulernen.