Immortals of Aveum - Die Entwicklung der Zwischensequenzen

PCGH_Phil: Ihr habt aber bestimmt auch für die Zwischensequenzen die Details aufgezogen, oder? Da gibt es für die Unreal Engine ja sogar ein ganzes Werkzeug-Set, das besonders auf das Filme-Machen ausgelegt ist. Nutzt ihr auch einige Effekte aus dem Movie-Toolset der Unreal Engine 5, also etwa das Depth-of-Field? Mir ist aufgefallen, dass das in den Zwischensequenzen ziemlich fein und aufwendig aussieht. Ihr habt ja offenkundig generell recht viel Wert auf Zwischensequenzen, Charakterdarstellung, Animationen gesetzt. Ihr habt wahrscheinlich auch eine Form von Facial Mocap genutzt, oder? Vielleicht könnt ihr dazu noch ein wenig sagen.

Dave Bogan: Das ist eine interessante Frage. Als wir damit angefangen haben, hatten wir gerade unseren ersten Mocap-Suit, unseren Hauptcharakter und einige der wichtigsten Nebenfiguren, die zu dem Zeitpunkt teilweise noch in Arbeit waren. Aber die Darsteller hatten wir schon gecastet. Und bevor die ganze Chose mit Covid losging, haben wir es gerade noch auf die Bühne des Mocap-Studios geschafft, haben die ganzen Kameras eingerichtet und auch die Facial- und Head-Cam-Setups aufgestellt. Dann haben wir die ersten Darsteller in die Suits gesteckt und auch deren Facial Anmations aufgezeichnet, um die volle Darsteller-Performance zu erhalten, also Aufnahmen von Körper und Gesicht gleichermaßen, was natürlich optimal für solch ein Unterfangen ist. Dass Darsteller zusammen auf der Bühne stehen, sich so platzieren, wie sie auch im Spiel zu sehen sind und vor allem auch unter- und miteinander interagieren können, das ist der Gold-Standard.

Aber diesbezüglich hat uns das Schicksal einige Stöcke in den Weg gelegt. Covid ist passiert und wir konnten nach den ersten Aufnahmen im Grunde nicht mehr zu dem oben beschriebenen Optimum zurück. Während der Pandemie war es ausgeschlossen, mehrere Schauspieler zusammen auf der Bühne zu haben und diese eng miteinander kommunizieren zu lassen. Alle unserer Darsteller mussten dies einzeln tun, und darauf auch einzeln in die Tonkabine im Audio-Studio. Auch im Tonstudio haben wir sie eine Facial-Cam tragen und sie nach bester Möglichkeit ihre Rolle schauspielern lassen, während sie ihre Zeile eingesprochen haben. Also nicht nur, was die Mimik betrifft, sondern den gesamten Körper. Das Wichtigste dabei ist allerdings der Mund.

Quelle: Electronic Arts Immortals of Aveum - Wir befragen die Entwickler im Tech-Interview zur Unreal Engine 5.1 (8) PCGH_Phil: Klar, wegen der Lippensynchronität. Es ist schwierig, auf andere Art und Weise überzeugend in ein Spiel zu übertragen.

Dave Bogan: Genau, die Lippensynchronität. Die ist das Wichtigste bei Facial Mocap-Aufnahmen, weil sie nur sehr umständlich überzeugend und realistisch manuell oder mit technischen Hilfsmitteln zu animieren ist. Aber auch die Emotionen auf den Gesichtern der Schauspieler einzufangen, ist für eine überzeugende Charakterdarstellung extrem wichtig. Natürlich mussten unsere Animatoren da noch einmal Hand anlegen und feintunen oder so etwas wie die Blickrichtung der Augen so anpassen, dass sie auch im Spiel korrekt ausfallen. Die Schauspieler haben keine 1:1 Vorstellung der Szene ingame, sie wissen nicht in jedem Fall, wo sich der Charakter befindet, den sie darstellen, sie wissen nicht exakt, was um die virtuelle Figur existiert oder geschieht oder wo genau sich die anderen Figuren befinden, mit denen sie interagieren oder ein Gespräch führen. Es ist schwierig bis beinahe unmöglich für die Schauspieler, all dies zu berücksichtigen. Da müssen nach der Aufzeichnung also noch einmal Animationskünstler ran und alles von Hand so anpassen, dass es sich kohärent zusammenfügt.

Wir haben außerdem ein Lokaltalent für Body-Acting eingestellt und in einen Satz Xsens-Motion-Capture-Anzüge investiert. Wir haben das dann in verschiedenen Situationen und Umgebungen für eigene Mocap-Aufnahmen genutzt. Die Xsens-Anzüge sind im Übrigen ziemlich klasse, die sind auf Bluetooth ausgelegt, man braucht also keine externen Kameras, oder so. Man kann damit im Grunde einfach nach draußen gehen und die Stufen zur Wohnung hinauf- und hinablaufen und schon hat man eine Animation für das Treppensteigen. Das ist wirklich nützlich, die Dinger haben ein Battery-Pack, damit kann man also auch durch den Wald laufen ...

PCGH_Phil: Das klingt in der Tat sehr nützlich.

Dave Bogan: Das hat uns echt bis zu einem gewissen Grad gerettet. Wir haben einen Haufen Zwischensequenzen, ich glaube, um die drei Stunden insgesamt. Und das sind nur die sozusagen "traditionellen" Cinematics, es gibt außerdem noch einen Haufen kleinerer Sequenzen in Ego-Perspektive, die natürlich auch animiert werden müssen und ein Haufen anderer Dinge. Um diesen Umfang an Content zu schaffen und sie dabei so gut aussehen zu lassen, wie sie es tun, ist wirklich ein Tribut unseres Animations-Teams zum einen, zum anderen aber auch des Director-Teams. Die es vollbracht haben, all die Animationsschnipsel, die wir wo-auch-immer überall aufgezeichnet haben, zusammenzuführen und daraus ein kohärentes Ganzes zu schaffen. Das ist auch etwas, worauf wir, denke ich, besonders stolz sein können: Dass wir es vollbracht haben, Filmsequenzen in diesem Umfang und in dieser Qualität zu liefern, trotz Covid und all den Schwierigkeiten, mit denen wir konfrontiert wurden. Hätte ich euch das nicht erzählt, ihr würdet es niemals ahnen.

PCGH_Phil: Allen Widerlichkeiten zum Trotze, sozusagen.

Dave Bogan: Genau. Allen Hindernissen und widrigen Umständen zum Trotze ist es ziemlich gut gelungen. Aber um noch einmal kurz auf Facial MoCap zurückzukommen: Wir haben dazu eine Firma namens Snapperstech (Anmerkung: aka Snappers Systems) drüben in Ägypten damit beauftragt, unsere Face-Rigs zu bauen - nicht alle Face-Rigs, aber im Grunde jene für all unsere wichtigen Figuren - und die verwenden dazu im Grunde die Facs-Methodik. Damit lassen sich im Grunde Kontrollen erstellen, wie sich ein menschliches Gesicht bewegt, das wirkt sehr realistisch. Das geht in unserem Fall so weit, dass wenn ihr den Mund verzieht oder die Stirn runzelt, wenn sich also etwa Hautfalten bilden oder die Haut sich strafft, wir Texturen für den simulierten Blutfluss ein- und ausblenden. Sodass sich etwa Blut subkutan in Falten sammelt, und diese wie in der Realität rot hervorhebt. Oder andersherum, die simulierte Durchblutung abnimmt, wenn die Haut sich strafft.

PCGH_Phil: Cool. Für so etwas wie Hautdarstellung nutzt ihr dann wahrscheinlich doch wieder Normal Maps, richtig?

Dave Bogan: Richtig, die Charaktere nutzen aber eben auch kein Nanite, das sind (mehrere unterschiedliche) Normal Maps. Aber darunter liegen auch Blood Maps, die simulieren, wie das Blut unter der Haut verteilt wird oder in Bahnen gelenkt wird, wenn etwa eure Stirn Falten wirft. Das ist wahrscheinlich nichts, was euch bewusst auffallen würde, aber man fühlt es sozusagen ...

PCGH_Phil: Der Uncanny-Valley-Effekt wird reduziert. Wenn ein solcher auftritt, kann man ja oft nicht einmal wirklich beschreiben, was einen stört. Man merkt nur, dass irgendetwas "komisch" ist, kann aber oft nicht mit dem Finger auf etwas zeigen, das die Ursache dafür ist. Man fühlt es, sieht es aber nicht bewusst.

Dave Bogan: Genau. Viele verstehen nicht, was da eigentlich bezüglich Optik abgeht, aber sie fühlen es. Sie fühlen, dass es "falsch" ist. Und wenn dieserart Effekte und Details fehlen, dann wirkt der Charakter auf das menschliche Auge wie Plastik oder puppenhaft. Ich denke also unsere Charakterdarstellung, unsere Zwischensequenzen und unsere Facial Animations sind auf sehr hohem Niveau und gehören zum besten, was Spielegrafik aktuell zu bieten hat. Und der schiere Umfang ist außerdem beeindruckend, wir sind kein riesiger Entwickler, sondern sogar ziemlich klein. Intern haben wir 7 Animationskünstler, und zwar sowohl für Gameplay als auch Zwischensequenzen. Natürlich haben wir einen Teil der Arbeit via Outsourcing anderen Firmen übertragen, aber ich finde unsere Arbeitsleistung dennoch ziemlich anständig.

PCGH_Phil: Einen Teil der Arbeit anderen Studios/Firmen zu übertragen beziehungsweise einen Teil der Arbeit via Outsourcing erledigen zu lassen, ist allerdings auch mehr oder minder Industrie-Standard. Und jeder kann ganz einfach in den UE5-Asset-Store gehen und für ein paar Euro sehr hochwertige Assets erstehen. Das liegt, denke ich, sowohl für gewaltig große als auch sehr kleine Entwickler ein wenig in der Natur der Sache. Die Spiele und die Spielegrafik werden eben zunehmend komplexer. Aber auch bei diesen Umständen sind moderne Engines und Technologien ja durchaus behilflich, etwa in Form von Modularität. Ich denke, in näherer Zukunft kommt generell noch einige Moderne auf uns zu. Die KI wird sicherlich ebenfalls einen größeren Einfluss auf die Spieleentwicklung und wahrscheinlich auch Gameplay haben. Und bezüglich Zwischensequenzen bietet die Unreal Engine 5 natürlich auch ein dickes Toolset, sie ist ja sogar explizit darauf ausgelegt, neben Spielen auch Filme zu produzieren.

Dave Bogard: Ja, die Film-Tools sind toll. Und ich liebe den Sequencer. So ein feines Werkzeug.

Joe Hall: Und ein gewaltiger Teil unserer Zwischensequenzen ist außerdem Realtime. Ist schon toll, was man da mit der Unreal Engine 5 an Qualität erzielen kann.

PCGH_Phil: Das ist wirklich noch ein guter Punkt. Ich hasse es, wenn die Zwischensequenzen mit Ingame-Assets nicht in Echtzeit laufen, sondern mit mieser Auflösung, voll mit Kompressionsartefakten und reduzierter Bildrate. Darüber sollten wir heutzutage wirklich hinweg sein - wenn eine Rendersequenz ein initiales Laden verdeckt oder die Logos der Entwickler und beteiligten Firmen angezeigt werden, meinetwegen aber ...

Dave Bogard: Dann wird es dich ja beruhigen, dass wir vielleicht eine Handvoll vorberechnete Zwischensequenzen nutzen und der Rest mit voller Qualität und hohen Bildraten in Echtzeit läuft. Wir haben 5 oder 6 vorgerenderte Schnipselchen, und die sind in 4K. Mark war aber schon unglücklich mit mir, weil es nur 4K und nicht 8K sind (lacht). Einem scharfen Auge fällt natürlich trotzdem auf, dass die nicht in Echtzeit laufen, allein schon wegen der Framerate.

Quelle: Electronic Arts Immortals of Aveum - Wir befragen die Entwickler im Tech-Interview zur Unreal Engine 5.1 (9) PCGH_Phil: Mit einigen vorberechneten Zwischensequenzen, insbesondere so etwas wie Logos oder einen Einleitungstext oder so etwas in die Richtung. Das ist schon okay, denke ich. Aber wenn die ganzen hochqualitativen Assets auf dem Schirm hat, schnelle Bewegungen darstellt oder Kameraschwenks vollzieht, wenn hohe Kontraste vorliegen, insbesondere Rot und Schwarz, wo die Kompression besondere Schwierigkeiten hat und die Framerate eine gewichtige Rolle spielt, das würde man ziemlich sicher mitbekommen, wenn man sich ein wenig mit dem Thema Computergrafik auskennt.

Dave Bogard: Ja, die Tech-Cracks und Grafik-Nerds werden das wahrscheinlich immer erkennen können. Ich meine, auch wenn man hochauflösende, sehr hochqualitative 4K-Zwischensequenzen hat - wenn die vorberechnet sind, aber der Hardcore-Enthusiast-PC-Gamer zockt in 4K mit 120 Hz. Dann fällt natürlich sofort auf, dass die vorberechneten Sequenzen nur mit 60 Fps laufen, oder so. Wir haben uns aber auch sehr bemüht, die Handvoll vorberechneter Sequenzen von den Echtzeitsequenzen zu trennen, damit es eben keinen heftigen und merklichen Schnitt in der Flüssigkeit der Darstellung gibt. Wir haben meines Wissens keine einzige Situation, wo eine Echtzeit-Zwischensequenz in eine vorberechnete übergeht oder andersherum.

PCGH_Phil: Klasse. Danke für eure detaillierten Ausführungen. (Timer klingelt) Offenbar müssen wir aber langsam zum Ende kommen. Vielleicht noch eine kleine, letzte Frage: Gibt es etwas, auf das ihr bei eurem Spiel ganz besonders stolz seit?

Dave Bogard: Ich bin wirklich sehr stolz auf unsere Leistung als ein Team, wie gut und effektiv wir zusammengearbeitet haben, trotz aller Widrigkeiten. Ich glaube, da kann ich für uns alle sprechen. Und ich bin außerdem stolz auf die Geschichte, unsere Story und wie wir sie erzählen. Ich war immer ein Story-Mensch, das hat mich schon immer besonders bei virtuellen Welten interessiert und mir dabei geholfen, mich in die Spielewelt hineinzufühlen. Ich denke, das ist uns gut gelungen und darauf bin ich auch ein bisschen stolz.

PCGH_Phil: Besten Dank für das Gespräch!

Damit sind wir am Ende des Interviews angekommen. Wir waren schon von Beginn positiv überrascht, dass wir im Interview gleich mit mehreren erfahrenen Devs sprechen konnten und diese obendrein sehr auskunftsfreudig waren. Es ist außerdem sehr spannend zu erfahren, mit welchen Umständen sich Entwickler aktuell konfrontiert sehen, wenn sie sich während laufender Entwicklung mit der Frage konfrontiert sehen, von der UE4 auf die UE5 umzustellen. Auch Details zu Nanite und dessen Implementation sowie die Unterschiede bei der Ausleuchtung der Level via dynamischer Lumen- respektive Raytracing-Beleuchtung sind sehr interessant und ein Umstand, dem wir in naher Zukunft sicherlich noch häufiger begegnen werden. Nicht nur die Unreal Engine 5 setzt schließlich darauf, auch Nvidias Raytracing-Ansätze sowie der ganze Pathtracing-Ansatz funktionieren auf ähnliche Art und Weise und unterscheiden sich von der "klassischen" konventionellen Pre-Baked-Darstellung samt Light-Probes oder ähnlichen Methoden, auf die Spiele bislang setzten. Es war ein sehr interessantes Gespräch und wir hoffen, dass auch Sie, liebe Leser, ein wenig Neues bezüglich Unreal Engine 5 und moderner Spieleentwicklung lernen konnten.

Artikel teilen

Immortals of Aveum - Das große Tech-Interview zur Unreal Engine 5.1 Wir haben die Gelegenheit bekommen, ein ausführliches Interview mit Ascendant Studios, den Entwicklern von Immortals of Aveum zu führen. Es handelt sich um ein Spiel, dessen Entwicklung nach Anfängen von der Unreal Engine 4.2 auf die Unreal Engine 5.1(.1) portiert wurde. Immortals of Aveum nutzt eine Vielzahl noch junger Features der ebenfalls jungen Engine, darunter neben Nanite und Lumen auch neue Streaming-Ansätze.

Per E-Mail versenden

78

1. Seite 1 Einleitung
2. Seite 2 Warum Unreal Engine 5?
3. Seite 3 Materialien, Shader-Streaming, Asset-Verwaltung
4. Seite 4 Niagara und VFX
5. Seite 5 Die Weltdarstellung und Strukturierung in der UE5.1.1
6. Seite 6 Die Vorteile und Tücken von Nanite
7. Seite 7 Beachtenswertes zu Portierungsarbeiten und Engine-Updates
8. Seite 8 Gibt es Pläne, die Grafik in Zukunft weiter zu verbessern?
9. Seite 9 Die Entwicklung der Zwischensequenzen