GDC 2017 - Spielgrafiken von der KI: So will Nvidia mit Gameworks Entwicklern helfen
Neuronale Netzwerke sind nicht nur etwas für Google und Co.: Mit neuen Nvidias neuen Gameworks-Bibliotheken will Nvidia die Arbeit der Spieldesigner mit KI-gestützten Inhalten beschleunigen.
Nvidia stellte auf dem Editors Day im Rahmen der Game Developers Conference 2017 in San Francisco nicht nur neue Grafikkarten vor. Steven Parker, Vice President Professional Graphics, gab auch einen Einblick in den neuesten Stand der Forschung, was KI-generierte Inhalte und Deep Learning angeht. Hier ist Nvidia schon seit einigen Jahren aktiv und arbeitet mit Firmen und Universitäten zusammen, die unter anderem an neuronalen Netzwerken zur Bild- und Stimmenerkennung arbeiten. Parker demonstrierte, wie auch Spielentwickler diese Technologien nutzen können.
Batman und ein Ninja Turtle
"Wir können Bilder und Sprache erkennen, aber wie wäre es, wenn wir die besten Grafiker der Welt mit KI-Hilfe unter die Arme greifen könnten?" fragt sich Steven Parker. Nvidias Pascal-Chip habe schließlich das Training eines neuronalen Netzwerkes verglichen zur Kepler-Generation in vier Jahren um den Faktor 65 beschleunigt. Unter dem Training versteht man den Prozess, in dem die KI beispielsweise mit Bildern "gefüttert" wird, die die Grundlage für die späteren Erkennungsroutinen bilden. Neben Schriftenerkennungen für Schecks und Post oder selbstfahrenden Autos soll KI auch für Computergrafik und -spiele zum Einsatz kommen. Gerade Spiele mit einer komplexen Spielwelt wie The Division benötigen bei der Entwicklung jede Menge Handarbeit - könnte das nicht KI-unterstützt schneller laufen?
Eine Methode, an der derzeit geforscht wird, ist der sogenannte Style Transfer. Dabei bekommt ein neuronales Netzwerk zwei Fotos vorgelegt: eins für den Inhalt und eins für den anzuwendenden Grafikstil, die es dann eigenständig zu einem neuen Bild kombiniert. Das klappt mal mehr und mal weniger gut: Steven Parker zeigt einen Elefanten im psychedelischen Look, ein Frühstück mit Miro-artigen Bildverzierungen oder einen mit Fledermäusen überzogenen Batman. Bei einer Kombination aus kleinem Mädchen und einem der Teenage Mutant Ninja Turtles stößt das System allerdings noch an seine Grenzen.
Neuronale Netzwerke bei Adobe
Adobe setzt neuronale Netzwerke schon in zahlreichen Produkten ein. So erkennt Photoshop CC nicht nur treffsicher Gesichter, sondern auch Schrifttypen. Das Tool Behance hilft bei der automatischen Vergabe von Schlüsselwörtern für große Bildsammlungen. Character Animator CC bewegt Zeichentrickfiguren automatisch und ziemlich gut - beispielsweise schafft es Lippensynchronität mit Hilfe einer Sprachdatei. Für Spielentwickler interessant: Nvidia und Remedy Games arbeiten an Performance Capturing, also der Aufnahme von Sprache, Mimik und Körperbewegungen einer Person, die automatisch Charakter-Meshes in Echtzeit abläuft - und das ohne das Aufkleben von kleinen Stützpunkten im Gesicht der Schauspieler.
Apropos Spielentwickler: Nvidia unterstützt diese schon seit Langem mit seinen Gameworks-Bibliotheken, etwa zur GPU-gestützten Darstellung von Feuer, Wasser und Physik. Steven Parker kündigte die neueste Erweiterung namens Gameworks Materials and Textures an. Was die kann, mutet zum Teil wie Science-Fiction an. Denn Hand aufs Herz: Wenn die Ordnungshüter in CSI oder Hawaii 5-0 mit dem Computer in Überwachungsaufnahmen hineinzoomen und dann immer noch ein scharfes Bild sehen, haben die meisten von uns doch eher amüsiert geschmunzelt, die um den pixeligen Aufbau eines Digitalfotos wissen.
Bildergalerie
Bildvergrößerung wie im Krimi
Image Scaling macht aus einem niedrig aufgelösten ein Hi-Res-Bild. Steven Parker: "Wir trainieren das Netzwerk mit einer Menge niedrig aufgelöster Bilder, aus denen es dann automatisch hochaufgelöste Patches erstellt." Ein Bild einer vier Mal so detaillierten Golden-Gate-Brücke ist schon nicht schlecht, doch beim komplexen Foto einer Frau, die ihre Haare zurückwirft, zeigt die KI so richtig, was sie kann. Und wir grinsen beim nächsten Mal etwas weniger, wenn wir das FBI im Fernsehen oder Kino mit ähnlichen Methoden arbeiten sehen.
Nicht nur Entwickler von Open-World-Spielen freuen sich über den Texture Multiplyer, der aus einem Foto beziehungsweise einer Textur automatisch organisch und realistisch aussehende Varianten erstellt. Mauern, Wände und andere sich auffällig wiederholende Flächen könnten damit der Vergangenheit angehören.
Material Synthesis geht noch einen Schritt weiter: Aus nur zwei zweidimensionalen Fotos eines Materials wie etwa eines Stück Leders erstellt diese Funktion "in vier, fünf Minuten" Diffuse-, Normal-, Specular- und Gloss-Maps. Diese können dann augenblicklich in Spiel-Engines wie der Unreal Engine 4 eingebaut werden - eine immense Zeitersparnis, mit der gerade Grafiker schnell ausprobieren können, welche Oberflächen in ihren Szenen am besten aussehen. Und wer weiß, vielleicht vergehen zukünftig dann auch nicht mehr so viele Jahre zwischen Serienteilen etwa der Elder-Scrolls-Rollenspiele.
So, jetzt hast Du Deinen Kommentar