Nvidia: Butterweiche Superzeitlupe dank Deep Learning
Um ruckelfreie Zeitlupen zu bieten, muss ein Video mit einer hohen Anzahl an Bildern pro Sekunde aufgenommen werden. Die entsprechenden Kameras sind jedoch exorbitant teuer. Mit einer auf Deep Learning basierenden Software von Nvidia könnte man in Zukunft aber auch Videos, die mit nur 30 oder 60 Bildern pro Sekunde aufgenommen wurden, als butterweiche Superzeitlupe abspielen.
Nvidia arbeitet an einer Methode, um auch Videos mit einer eher geringen Fps-Zahl (Bilder pro Sekunde) ruckelfrei als Zeitlupe abspielen zu können. Ein Video von Nvidia mit einigen Beispielen dazu haben wir weiter unten platziert. Auch die Website Geekologie berichtet über die erstaunlichen Ergebnisse. Doch worum geht es? Möchte man ein normales Video in Zeitlupe abspielen, dann kommt es unweigerlich zu Rucklern, wenn das Videomaterial nicht schon mit einem hohen Fps-Wert aufgenommen wurde. Nur mit speziellen Kameras, die sehr viele Bilder pro Sekunde liefern, sind gute Zeitlupen möglich.
Nehmen wir als Beispiel eine Szene, die fünf Sekunden dauert und mit 30 Fps aufgenommen wurde. Dies sind in der Summe 5 x 30, also 150 Bilder. Will man nun eine Zeitlupe anschauen, bei der das Video drei Mal langsamer als üblich abläuft, müssen die 150 Bilder auf 15 Sekunden verteilt werden - es bleiben nur noch 150 geteilt durch 15, also 10 Bilder pro Sekunde übrig - das Zeitlupenvideo ruckelt daher sichtbar.
Bei Spielen hat man dieses Problem nicht, denn das Spiel kann pro Sekunde immer gleich viele Bilder berechnen: wenn der PC bei einem Spiel 60 Fps schafft, dann sind es immer 60 Fps, egal ob eine Szene in der Spielewelt in Echtzeit oder in Zeitlupe abläuft. Diese Tatsache, nämlich dass ein PC auch einzelne Bilder neu berechnen kann, hat sich Nvidia nun im Rahmen der zahlreichen Research-Projekte, an denen die Kalifornier arbeiten, zu Nutze gemacht. Denn durch Deep-Learning-Prozesse, bei denen Software mit einer gewissen eigenen Intelligenz seine eigenen Algorithmen im Laufe der Zeit durch Lerneffekte stetig verbessert, können auch Zeitlupen von echten Videos butterweich und mit vielen Details ausgestattet abgespielt werden, die eigentlich zu wenig Fps für eine ruckelfreie Zeitlupe bieten. Die Software berechnet dabei für das vorhandene Video Zwischenbilder, die in Wahrheit gar nicht existieren. Es entsteht also eine Art Simulation eines Videos, das viel mehr als nur beispielsweise 30 oder 60 Fps hat. Die Idee ist zwar nicht neu, aber durch die Deep-Learning-Prozesse gelingen Nvidia nun immer bessere Ergebnisse. Aus einem 30 Fps-Video wird beispielweise ein Zeitlupenvideo, für das man eigentlich 240 Fps als Ausgangsmaterial benötigen würde. Teure spezielle Zeitlupenkameras könnten mit einem solchen Verfahren in der Zukunft also in vielen Anwendungsfällen obsolet werden.
Wenn man weiß was man tut kann man es auch im technischen und wissenschaftlichen Bereich anwenden. Eine der Kernkompetenzen hier ist ja die richtige Methode für das gegebene Problem auszuwählen.
PIV-Messdaten mit so etwas zu verhunzen käme mir auch nicht unter
Wenn dabei dann so eine "Rate-Slowmotion" herumpfuschen würde, wäre das absolut katastrophal.
Aber ich glaube, wir meinen beide das selbe: Dass es auf den Anwendungsbereich angekommt, oder?
Im Entertainment - super!
Wenn es um relevante Bildinformationen geht - gefährlich!
Das ist übrigens heutzutage ein wichtiger Punkt:
Wir müssen immer wieder verdammt aufpassen, dass sich nicht irgendwelche "Super-Duper-Automatik-Postprocessing-Verschlimmbesserer"-Funktionen an unseren Rohdaten vergreifen.
Einige Hersteller von Messgeräten scheinen es sehr gut zu meinen mit diesen Autokorrekturen. Aber leider sind diese Funktionen meistens entweder zu undurchsichtig, wie sie wirklich funktionieren, oder sind nicht zuverlässig genug. Beides kann nicht zu guter wissenschaftlicher Praxis führen.
Schnell und recht akkurate, weitaus besser als die hier bereits verlinkten Tools sind.
Es gibt noch immer genügend Szenarien wo die Fehler deutlich sichtbar werden, aber fürs Aufhübschen von Filmen ist es alle mal geeignet. Und: Auch heute wird diese Technik in vielen gebieten eingesetzt - zB bei vielen der 200/400Hz Fernseher, beim film-rendern usw.
Ich glaube ein Objekterkenender Algorithmus aus Grundlage würde das ganze aber noch deutlich verbessern. Als beispiel kann man sich das Netz des Eishockeytors anschauen:
Da der Algorithmus keine Objekte an sich kennt wird beim Interpolieren das netz mit dem Körper mit verzerrt. Mit einem ContentAware Ansatz könnte das Netz als eigenständiges Objekt verstanden und ohne Verzerrungen wiedergegeben werden.
Von daher schon ziemlich beeindruckend.
Wozu das jetzt gebraucht wird? Keine Ahnung. Für Echtzeit Zwischenbildberechung ist es eh zu aufwändig bzw. bis es in echtzeit möglich ist, wird eh alles mit genügend FPS aufgenommen werden.
Wenns nach mir ginge, würde ich die Forschung eher bei Videostabilisierung ansetzen. Das ist praktisch eher relevant und ein ständiges Problem, das vor allem Softwareseitig schwer zu lösen ist.
Es wäre auch eine Anwendung interessant, die aus niedrig aufgelösten Bildern hochauflösende macht. Ich glaube da gabs sogar in den letzten Monaten ne News bezüglich deep Learning.
An sich wäre das nicht verkehrt. Auch wenn man nicht die Volle Auflösung ausnutzen will, wärs sicherlich genial, ein etwas weniger scharfes bzw. detailliertes Bild mit plausiblen detailinformationen aufblasen zu lassen, um es dann wieder auf die ursprüngliche Größe downzusamplen.
Da der Informationsgehalt dann größer ist, sollte das Bild subjektiv auch deutlich an Details gewinnen. Ob die zusätzlichen Bildinformationen echt sind oder nicht ist ja egal. Was zählt ist die wahrgenommene Bildschärfe bzw. das Vorhandensien feiner Details. Selbst simples Bildrauschen trickst das Auge ja schon aus, und täuscht mehr Details vor, da sollte mit deep Learning deutlich mehr möglich sein.