VR-Headset: Creal mit neuem Lichtfeld-Display und stufenlosem Fokus
Das Schweizer Start-up Creal hat im Rahmen der Technik-Messe CES zwei Prototypen vorgestellt. Hierbei handelt es sich um ein AR- und ein VR-Headset mit Lichtfeld-Displays sowie stufenlosem Fokus.
Manche Nutzer eines VR-Headsets klagen über den sogenannten "Vergence-Accommodation-Konflikt". Hiermit ist gemeint, dass bei Benutzung einer VR-Brille es zu Unwohlsein sowie zu Augen- und Kopfschmerzen kommen kann. Um diesem Problem etwas entgegenzuwirken, hat ein Start-up aus der Schweiz zwei Prototypen mit der neuartigen Lichtfeld-Display-Technik im Rahmen der digitalen Technik-Messe CES 2021 vorgestellt, wie unsere Kollegen von 4players berichten. So soll es ermöglicht werden, dass nur das virtuelle Objekt scharf dargestellt wird, welches der Träger der VR-Brille gerade anvisiert. Bislang werden bei VR-Headsets immer alle virtuellen Gegenstände mehr oder weniger gleich scharf dargestellt, was zu bei manchen Menschen zu Problemen führen kann.
Lichtfeld-Displays noch mit ein paar Nachteilen
Ein Lichtleiter sorgt mit Beugungsgittern und Nanostrukturen unter dem Display-Panel für eine Beugung des Lichtes, sodass ein 3D-Effekt erzeugt wird und der Nutzer so ein virtuelles Objekt schärfer wahrnimmt, als andere zeitgleich dargestellte Objekte. Die Technologie von Creal soll eine komplett stufenlose Fokusänderungen offerieren.
Bildergalerie
Nachteile von Lichtfeld-Displays ist die relativ geringe Auflösung und das schmale Sichtfeld von lediglich 30 Grad. Insgesamt bietet das VR-Headset ein Sichtfeld von 100 Grad, aber nur im Bereich von 30 Grad gibt es die scharfe Darstellung von Objekten. So löst das Bildzentrum mit 1.000 x 1.000 Pixeln auf, während das restliche Sichtfeld mit den unscharfen Objekten eine Auflösung von 1.600 x 1.440 bietet, wie die Webseite Mixed schreibt. Creal verbaut neben dem Lichtfeld-Display auch noch ein Display mit herkömmlicher Technik, um so die Nachteile ausgleichen zu können. Zunächst sollen erstmal nur Prototypen des neuen VR-Headsets an mögliche Partner versendet werden, die dann Erfahrung mit den Lichtfeld-Displays sammeln sollen. Wann das VR-Headset tatsächlich auf den Markt kommt, ist noch offen.
Ebenfalls lesenswert: Oculus VR: Verknüpfung mit Facebook-Konto wird rechtlich geprüft
Sammlung zum VR-Headset von Creal:
- Das Schweizer Start-up Creal hat zwei Prototypen zur Technik-Messe CES 2021 vorgestellt, die beide auf neuartige Lichtfeld-Displays setzen.
- Mit der neuen Display-Technik soll das Problem der Vergangenheit angehören, dass so manchem Träger eines VR-Headsets oder AR-Headsets unwohl war. Hierzu soll es ermöglicht werden, dass einzelne Objekte schärfer dargestellt werden können.
- Die Prototypen sollen erstmal nur an potenzielle Partner verteilt werden.
Bezüglich der Auflösung und Bildwiederholrate gehst du in die richtige Richtung, aber meiner Meinung nach reicht das aus Sicht eines Spielers noch nicht. Bei den 1st Gen Headsets war die Bildqualität noch so mies, dass sie im Zentrum selbst bei bewusster Konzentration auf anderes stören könnte und weitere Absenkungen auch abseits des Fokuspunktes negativ aufgefallen wären. Mittlerweile haben wir eine ausreichend hohe Auflösung erreicht, dass es im Zentrum gerade so reicht um nicht unbewusst zu stören und wir könnten am Rand ein bisschen (!) einsparen, ohne dass es sofort wahrnehmbar wäre. Das gilt aber nur solange, wie man auf einem Punkt guckt und das machen Spieler (im Gegensatz zu zum Beispiel Architekten) eher selten.
Somit kann man nur die Bereiche vereinfacht rendern, die für das Auge innerhalb der Zeit unerreichbar sind, die das System braucht um eine Augenbewegung zu erkennen, ihren Zielpunkt vorherzusagen (das ist naturgemäß wohl erst nach der Hälfte der Bewegung gut abschätzbar), dieses veränderte Bild rendern zu lassen, an das Headset zu übertragen und beim nächsten Sync auszugeben. Da das Auge bereits während der Bewegung nach fokussiert und Fokussierungsversuche auf unscharfe Bilder die Augen sehr belasten, müsste man eigentlich sogar eine mehrfache Anpassung während der Bewegung anstrebeben.
Heutige Headsets sind aber nur dazu ausgelegt, vergleichbares für eine Kopfbewegung zu leisten, die vielfach langsamer als eine Augenbewegung ist. Das heißt einen von Frame zu Frame für das Auge nicht erreichbaren Bereich gibt es bei Index oder Reverb gar nicht. Und bei den Ultra-Wide-FOV-Headsets nur deswegen, weil wir den Randbereich normalerweise nie aktiv fokussieren, sondern lieber den Kopf drehen – aber dafür braucht man kein dynamisches foveated rendering, da reicht statisches. Für dvr würde ich mal schätzen, dass der ganze Anpassungsporzess maximal 10 ms dauern dürfte und davon vielleicht 5 ms für das Rendering blieben. Das heißt die Einstiegshürde liegt bei 200 Fps auf der CPU, 200 Fps auf der GPU, 200 Hz bei der Übertragung an das Display und 200 Hz bei 5 ms Reaktionszeit im Display. Die CPU schafft das vermutlich knapp, wenn der Spielinhalt nicht zu komplex ist, die GPU nur bei stark reduzierter durchschnittlicher Qualität, womit trotz dfr keine Reserven für Bildverbesserungen drin wären und die Ausgabegeräte erfüllen diese Anforderungen überhaupt noch nicht.
Zur Lösung von letzterem fehlt nur ein vernünftiger Controller, der HDMI2.1 mit OLED kombiniert – vielleicht sehen wir das in der nächsten Generation, wenn sich vfr anbietet, aber im Moment geht der Trend eher in eine andere Richtung. Aber im Bereich GPU sehe ich den break even erst erreicht, wenn wir Richtung 4K je Auge gehen. Erst wenn man in diesen Leistungsregionen ist, kann man durch eine Qualitätsabsenkung (auf heutiges Niveau) auch so viel Leistung einsparen, dass trotz gestiegener Fps-Anforderung durch dfr unterm Strich noch ein Netto-Vorteil bleibt, den man zum Beispiel in hübscheren Content investieren kann.
Bei der mangelnden Ausgabeauflösung bin ich nicht ganz bei Dir. Mit Sicherheit stehen Auflösung, Bildwiederholrate und vor allem FOV und qua Linsentechnik vor allem nicht durch ebendiese geminderter FOV dabei im Vordergrund. XTal und StarVR sind in der Lage mit proprietärem Eye tracking, sowie proprietären Linsen und Panels ein sehr hohes (160-220 Grad), verzerrungsfreies FOV durch dynamische Anpassung der geometrischen Projektion zu erreichen; FOV ist damit gelöst. Meine 8KX hat zwei 4K Displays die technisch mit je 120hz laufen können, durch die Anbindung über DP1.4 unter Zuhilfenahme von DSC aber nur mit 75hz 'gefüttert' werden können. Da auch diese Brille, richtig kalibriert, ein sehr hohes, klares FOV mit sehr hoher PPD anbieten kann, wäre sie ein Paradebeispiel dafür, wie DFR und im Zweifel VRSS bei gleichbleibendem Compute-Budget in Verbindung mit hochwertigem eye-tracking eine signifikante Erhöhung der Bildqualität sowie unter Umständen auch erhöhte Bildwederholrate möglich machen könnten. Bei geringerem FOV und anderweitig gleichbleibenden Parametern wäre die value proposition durch DFR deutlich unattraktiver, wenn nicht gänzlich uninteressant.
Ein ideales Beispiel dafür ist die Reverb G2, die nach PPD sogar leicht vor der 8KX rangiert, mangels (sehr) kleinem FOV jedoch deutlich weniger von dynamischer Auflösungsanpassung profitieren würde.
Oculus hatte dazu vor einigen Jahren (!) bevor das race to the bottom begann einen Prototypen gezeigt, der varifocalen Fokus durch das Stacking mehre Displays ermöglichte.
Lightfield Technologie wird sowohl bei Capture als auch beim Display in den nächsten Jahren immer interessanter werden, ist aber a) noch extrem weit weg von der technischen Machbarkeit und b) bei weitem nicht die einzige Lösung für varifocalen Fokus.
Als absolut nächster Schritt muss jetzt sowieso erst einmal zuverlässiges und günstiges Eye-tracking kommen um VRSS und DFR sinnvoll nutzen zu können. Es macht schlichtweg keinen Sinn 100% der Fläche extrem hochauflösender Panels berechnen zu müssen, wenn der vom menschlichen Auge maximal aufgelöste Fokusbereich signifikant kleiner als das technische FOV ist. Nur dann ist ungleich zu z.B. herkömmlichen Monitoren eine Entkoppelung der benötigten GPU Rechenleistung und Entwicklung maximaler Panel Auflösungen erreichbar.
Stacking mehrerer Displays (naja – zwei) nutzt übrigens Magic Leap. Die Wirkung ist ... nicht wirklich beeindruckend. Um auf diese Wege Tiefenwahrnehmung durch Accomodation zu erreichen, bräuchte man hunderte Displayebenen, damit man im Prinzip Voxel statt Pixel ausgeben kann. Das halte ich nur als Brückentechnologie für relevant.
Bis das wirklich Marktreif für Konsumenten ist dauert es sicherlich noch 10 Jahre oder mehr, aber es ist schon beeindrucken wie weit die Technik in den letzten Jahren gekommen ist. Der Prototyp von Nvidia hatte damals eine Auflösung irgendwo um die 320x320 Pixel gehabt und der aktuelle Prototyp ist schon bei 1000x1000 Pixel.
Nvidias SIGGRAPH 2013 Demo hatte übrigens ein HD-Display, die effektive Auflösung in der Widergabe betrug aber nur 146 x 78, weil ein Lichtfeld eben pro wahrnehmbaren Bildpunkt eine ganze Menge regulierbarer Lichtquellen braucht. Ich glaube heute gibt es 2K-OLEDs in vergleichbarer Größe, man könnte also mit vergleichbarer Optik 438 × 234 effektive Pixel erreichen, sofern man die Tiefenauflösung nicht ebenfalls erhöht, was aber sinnvoll wäre. Wenn uns kein besseres Prinzip einfällt, haben wir Ende des Jahrzehnts vielleicht VGA-Niveau erreicht.
Ein riesieger Klotz vor dem Kopf, miserable Auflösung, Sichtfeld des Grauens und angeblich soll das mehr "Probleme" lösen als es verursacht. Also ich finde VR in seiner aktuellen Form absolut zufriedenstellend und ich vermisse hier keine neuartige Displaytechnik. Forschung ist natürlich immer gut, aber so wie sich das liest, wird das entweder bald eingestampft oder es dauert noch 10 Jahre bis das wirklich mal für Consumer umgesetzt wird.
...
Bis das wirklich Marktreif für Konsumenten ist dauert es sicherlich noch 10 Jahre oder mehr, aber es ist schon beeindrucken wie weit die Technik in den letzten Jahren gekommen ist. Der Prototyp von Nvidia hatte damals eine Auflösung irgendwo um die 320x320 Pixel gehabt und der aktuelle Prototyp ist schon bei 1000x1000 Pixel.