Nvidia RTX Broadcast Engine: Neue KI-Features über Tensorkerne sollen Greenscreens abschaffen
Nvidia hat im Rahmen der Twitchcon ein Paket an neuen Funktionen im Zusammenhang mit aktuellen RTX-Grafikkarten und deren KI-Features vorgestellt. Die unter der RTX Broadcast Engine zusammengefassten SDKs sollen unter anderem einen Greenscreen nicht mehr nötig machen.
Die KI-Features aktueller RTX-Grafikkarten von Nvidia sollen künftig auch für das Streaming von Nutzen sein. Im Rahmen der Twitchcon wurden neue Features vorgestellt, die neben Filtern und Augmented-Reality-Optionen auch den Greenscreen obsolet machen sollen.
Greenscreen ohne Leinwand dank RTX Greenscreen
Hardwareseitig übernehmen die Tensor-Kerne die Arbeit, während neue Software-Development-Kits, die unter der RTX Broadcast Engine zusammengefasst sind, die passenden Funktionen liefern. Im Falle des virtuellen Greenscreens verpasst Nvidia dem dazugehörigen SDK den passenden Namen "RTX Greenscreen". Leinwände sollen damit überflüssig gemacht werden. Die KI erkenne Körper und Gesicht des Streamers und blende den Hintergrund sauber aus. So ist die Einblendung etwa in das Spielgeschehen möglich. Auch unterschiedliche Hintergründe lassen sich wie bei einem echten Greenscreen einfügen.
Neue AR-Funktionen und eigene Filter für Streamer
Eine Demonstration gibt es unter anderem im Videoformat. Der kurze Streifen zeigt auch die anderen Neuerungen. Im Falle von RTX Greenscreen kann sich das Ergebnis durchaus sehen lassen. Dennoch ist es nicht perfekt. Nicht immer sind die Konturen klar und auch Fehler schleichen sich mitunter bei schnellen Bewegungen ein, wie ab der Zeitmarke von 20 Sekunden sichtbar wird. Als eine der ersten Anwendungen soll die beliebte Streaming-Software OBS mit einer Integration von RTX Greenscreen bedacht werden. Verfügbar sei das Feature für die breite Masse jedoch erst in den kommenden Monaten.
Auch lesenswert: Twitch: Shroud nicht mehr die Nummer Eins unter den Streamern
Ein weiteres Feature bildet RTX AR. Damit sollen Gesichter und dazugehörige Bewegung erkannt werden. Beides lässt sich in Echtzeit auf Augmented-Reality-Effekte übertragen. Damit lassen sich beispielsweise virtuelle Gesichter animieren und auch die "Gesichtssteuerung" sei möglich.
Zuletzt präsentiert Nvidia noch die RTX Style Filters. Die klingen zunächst wenig spektakulär, doch die KI könne ohne großen Aufwand auf eigene Filter trainiert werden, die sich wiederum anpassen lassen. Anschließend werden die Filter über den Videofeed gelegt. Die Aktivierung erfolgt durch schlichtes Drücken eines Hotkeys.
![[PLUS] Custom-Designs mit RTX 2060 Super, 2070 Super und 2080 Super: Erste Praxistests](/screenshots/1020x/2019/08/aufmacher_RTXsuper-pcgh1.png)
[PLUS] Custom-Designs mit RTX 2060 Super, 2070 Super und 2080 Super: Erste Praxistests
mehr ...
Man braucht also keinen Greenscreen mehr aber anscheinend noch ein grünes T-Shirt wie im Video zu sehen
Aber das Video überzeugt mich null...kurz zusammengeschnitten,grünes T-shirt und der Streamer ist riesig groß und mittig im Bild. So wird nicht gestreamt!
Aber mal abwarten wenn es raus kommt. Schlechter als DLSS kann es ja auch nicht sein
Ooooh, ich hoffe RTX Greenscreen kommt bald, das wäre wirklich mal ein Feature auf das ich mich freue
Für die hier angesprochenen Features werden wohl die Tensor Cores verwendet - keine Ray Tracing Cores.
Somit besteht hier auch kein Zusammenhang zwischen SDK und Raytracing.
Das wäre wohl auch Kontraproduktiv da hier die Leistung ohnehin schon knapp ist - würde man die RT Einheiten jetzt noch gleichzeit mit der SDK fürs Streaming beschäftigen
hätte man mit raytracing erst wieder ein Problem ...
CUDA Kerne: 4352
Tensor Kerne: 4352/8 = 544
SMs: 544/8 =68
RT-Kerne: 544/8 =68
Auf der Grafikkarte gibt es CUDA Kerne, diese CUDA-Kerne haben ein Interface für Tensor-Kerne welche wiederum 2 Interfaces für SMs bzw. RT Kerne haben.
CUDA-Kerne > Tensor-Kerne > SMs/RT-Kerne
Normale Spiele nutzen dabei immer den Weg über die SMs wovon 68 zur Verfügung stehen. Wenn jetzt RTX aktiviert wird, wird die Rechenleistung aufgeteilt. Das heißt aber auch das keine Rechenleistung verloren geht wenn die RT Kerne ungenutzt sind. Am Ende berechnen alles die CUDA Kerne. Die Frage ist nur mit welcher Effizienz... für RTX Berechnungen können dann die RT Kerne durchgeführt werden. Wenn jetzt diese neue Streaming Funktion extrem schnell über die RT Kerne genutzt werden kann, dann brauch es am Ende weniger Rechenleistung. Deshalb meinte ich, RTX-Interface.
Lieber "funktioniert noch nicht ganz so gut", als n ollen Greenscreen aufstellen zu müssen. Das passt bei vielen weder von der Optik, noch vom Platz.
Vielleicht wird dieses Feature ja noch verbessert, jedenfalls ein sinnvoller Einsatz für Streamer.
Zumal der Zuschauer auch wieder etwas mehr vom Spiel sehen kann, statt einen quadratischen Kasten der in jedem Fall verdeckt.
Ich gucke ganze gerne Lirik zu, der hat gar keine Cam und ist trotzdem sehr erfolgreich.
Für die hier angesprochenen Features werden wohl die Tensor Cores verwendet - keine Ray Tracing Cores.
Somit besteht hier auch kein Zusammenhang zwischen SDK und Raytracing.
Das wäre wohl auch Kontraproduktiv da hier die Leistung ohnehin schon knapp ist - würde man die RT Einheiten jetzt noch gleichzeit mit der SDK fürs Streaming beschäftigen
hätte man mit raytracing erst wieder ein Problem ...