Nvidia Broadcast App ausprobiert: Taugt die KI-Unterstützung?
Nvidia hat mit der ersten RTX-Generation vor knapp zwei Jahren den Nvidia-Encoder eingeführt, mit dem bessere Ergebnisse beim NVENC-basiertem Live-Streaming erzielt werden sollen. Jetzt, pünktlich zum Release der zweiten Generation, hat Nvidia eine kleine App für Broadcaster herausgebracht, die KI-unterstützt den eigenen Stream aufwerten soll. Wir haben mal reingeschaut.
Live-Game-Streaming hat in den letzten Jahren stetig zugenommen, Twitch und Co. konnten bisher immer zweistellige Wachstumszahlen vorweisen, was sich durch die Corona-Krise nochmal gesteigert hat. Neben einen Anstieg an Zuschauern konnten die aktuell beliebten Streaming-Dienste aber auch einen massiven Zuwachs bei den eigentlichen Akteuren, den Streamern, gewinnen - schließlich schien während der Pandemie-Quarantäne jeder genug Zeit zu haben. Nicht mehr nur Videospiele sind in den Fokus von Live-Übertragungen bei Twitch und Co. geraten, sondern auch Bastelanleitungen, Gesprächsrunden und allermöglicher anderer kreativer Content - selbst beim Kochen kann man mittlerweile Küchenchefs zuschauen.
Video-Encoding per Nvidias NVENC geht prinzipiell schon seit 2012 mit den Kepler-basierten GPUs der Geforce-600-Serie und wird seitdem auch von einer Vielzahl an Streaming- oder Aufnahmeprogrammen unterstützt. So kann man den Codec beispielsweise in der Open Broadcaster Software (OBS), aber auch in Adobe Premiere Pro oder Handbrake finden. Bei NVENC handelt es sich also um hardwarebeschleunigtes Video-Encoding, welches nicht über die CPU betrieben wird, sondern offensichtlicher Weise über eine Grafikkarte aus dem Hause Nvidia bewerkstelligt wird. Damit wird die Last des sehr berechnungsintensiven Vorgangs des Videos-Encodings vom Prozessor genommen und auf den Coprozessor, also gemein der Grafikkarte, übertragen. Bevor im Jahr 2018 die raytracing-fähigen RTX-Karten mit Turing-Architektur schlussendlich in den Handel kamen, waren die Resultate durch den NVENC verglichen mit dem x264-Codec, der die CPU belastet, eher mager. Größere Dateien mit einer verringerten Qualität waren meist das Resultat bei Aufnahmen, im Stream kam es dagegen häufig zu einem unschönem vermatschten Bild und einiger Komprimierungsartefakte.
Nvidia Broadcast ausprobiert - Die App
Aber seitdem bei Nvidias Grafikkarten eine "künstliche Intelligenz" mit Mustererkennung und dergleichen mit von der Partie ist, hat sich das Blatt gewendet: Der qualitative Verlust durch die Verwendung des Codecs ist verglichen mit dem Resultat des x264-Codecs kaum noch unterscheidbar. Die Kosten-Nutzen-Rechnung ist deswegen auch recht einfach, da hierbei die CPU nicht mehr sonderlich respektive gar nicht belastet wird. Zum Auftakt der zweiten Generation raytracing-fähiger RTX-Karten hat Nvidia jetzt den eigenen Encoder (deswegen NVENC) geupdatet und die KI-basierten Funktionen soweit ausgeweitet, dass man diese nun in einer App mit dem Titel "Nvidia Broadcast" zusammengefasst vorfindet. Dort kann man dann drei KI-unterstütze Funktionen, die das Zimmer zuhause in ein vorzeigbares Heimstudio verwandeln sollen, ganz ohne Greenscreen oder schallisolierten Fenstern nutzen.
Zum einen finden wir dort eine Rauschunterdrückung, die auf RTX Voice basiert. Diese kann entfernte Geräusche oder bestimmte Störgeräusche wie von einem Ventilator, den lauten mechanischen Switches einer Tastatur, aber auch einer knisternden Tüte Chips herausfiltern. Zusätzlich können die Tensorkerne auf der RTX-Karte einen virtuellen Hintergrund erstellen und ihn beispielsweise unscharf stellen, ganz entfernen oder gar austauschen. Das Unscharfstellen ist jetzt nicht so beeindruckend, das bekommt selbst Skype mit sehr guten Resultaten hin. Jedoch sind beim Austauschen des Hintergrundes mit Nvidia Broadcast deutlich weniger Fehler zu erkennen und das Bild wirkt natürlicher und sauberer. Die beste und am beeindruckendste Funktion ist aber das Herausschneiden des Hintergrundes, was wirklich nahezu so gut funktioniert, als hätte man einen echten Greenscreen hinter sich stehen und das Ganze dann schlussendlich einem Keying unterzogen. Last but not least gibt es noch Auto-Frame, das eine Zoom-Funktion (nicht die Videosoftware) bietet und so automatischen den eigenen Kopfbewegungen folgen kann.
Damit die App in der Übertragungssoftware funktioniert, arbeitet Nvidia mit OBS, Discord, Streamlabs, Twitch Studio und Xsplit zusammen. Für die Verwendung in OBS muss man zunächst natürlich Mikrofon und Webcam anschließen, denn ohne geht es nicht. Weil in Windows 10 jede Kameraquelle nur von einem Programm geladen werden darf, muss in der Streamingsoftware Nvidia Broadcast als virtuelle Kamera eingepflegt werden. Wenn dann zeitgleich die App läuft, kann man dort die KI-unterstützen Funktionen vornehmen, die dann ohne Zeitverzögerung in die Streamingsoftware eingespeist werden. Das gleiche Prozedere muss man natürlich bei der Rauschunterdrückung für das Mikrofon vornehmen.
Nvidia Broadcast ausprobiert - Das Resultat
Ohne Übertreiben zu wollen, aber selbst auf der schwächsten RTX-Karte 2060 mit 6 GB VRAM funktioniert die App einwandfrei und macht dabei eine wunderbare Figur. Die Tensorkerne erledigen bei der Rauschunterdrückung einen überzeugenden Job, sodass man teilweise echt meinen mag, die Störgeräusche sind nicht existent. Im Testvideo sind beispielsweise nur die Anschläge mit der Leertaste zu hören - wäre doch interessant und vorteilhaft, wenn die KI-Netzwerke da mitlernen und bei längerer Nutzung auch diese Störgeräusche herausbekommen könnten. Aber auch Hintergrundgeräusche, wie beispielsweise die quasselnden Kollegen, sind nicht wahrnehmbar und stören demnach auch nicht in einem Stream oder einer Aufnahme. Hier kann man tatsächlich in Zukunft getrost auf mechanische und sehr laute Switches in der Tastatur setzen, wenn man diese bevorzugt - einen wirklichen Nachteil gibt es hier nicht mehr (vorausgesetzt man hat Geld für eine RTX-Karte). Die Soundprofile in der App wurden übrigens zu RTX Voice verdreifacht und wer mag, kann RTX Voice auch auf älteren GTX-Karten mit erstaunlichen Resultaten ausprobieren.
Die Auto-Frame-Funktion ist sicherlich in Streams von Vorteil, bei denen man sich mehr bewegen muss und mehr Territorium mit der Facecam abdeckt werden soll. Da dann der Fokus auf dem Kopf des Streamers:in mit einem gleichzeitigen Zoom liegt, hilft dies sicherlcih bei der Übertragung ungemein. Außerdem wird die Facecam so nicht ad absurdum geführt, wenn man sonst fast nichts sehen würde außer einer herumhantierenden Person. Viel interessanter ist dagegen die Hintergrundfunktion, nicht unbedingt das Verwischen des Hintergrunds, weil das kann Skype genauso gut, aber das Ersetzen und ganz Herausschneiden. Bei der RTX-Version sind zwar immer noch Ungenauigkeiten auszumachen, schwarze Objekte flackern manchmal oder sind gar nicht mehr zu sehen, aber insgesamt sind die Resultate viel sauberer und ordentlicher als etwa bei Skype. Das neue Bild sitzt zudem viel natürlicher im Hintergrund, wenn die Nvidia Broadcast App im Einsatz ist. Das Keying des Hintergrundes zeigt sich wirklich sauber und verwandelt quasi jedes Zimmer in einen virtuellen Greenscreen, sodass sich erst bei näherer Betrachtung kleine Fehler bemerkbar machen - für eine Facecam im Stream aber allemal ausreichend und zudem auch noch kostenlos.
Wer kann sollte die App jedenfalls mal ausprobieren, sie zeigt jetzt schon unheimlich viel Potential das Streaming als solches in der Anschaffung noch günstiger zu machen (abgesehen von den RTX-Karten) und vor allem stressfreier mit weniger Nachbearbeitung bei Aufnahmen und weniger unangenehmen Störungen im Stream.
RTX Voice würde ich gerne auch in Teams haben, aber so, dass ich die Ausgabe der Kollegen damit "bereinigen" kann.