Forschung zu Anzeigesystemen: Reverse Passthrough VR

AR- und VR-Geräte spielen eine immer größere Rolle in unserer Arbeits- und Freizeitgestaltung. Wie können wir die nahtlose soziale Verbindung zwischen realer und virtueller Welt aufrechterhalten? Anders ausgedrückt: Wie können wir die „soziale Kopräsenz“ in gemeinsam genutzten Räumen zwischen Menschen aufrechterhalten, die möglicherweise an derselben AR-/VR-Erfahrung beteiligt sind oder nicht?

Dieses Jahr bei Auf der SIGGRAPH präsentiert Facebook Reality Labs (FRL) Research ein neues Konzept für soziale Kopräsenz mit Virtual-Reality-Headsets: Reverse Passthrough VR unter der Leitung von Forscher Nathan Matsuda. Vereinfacht ausgedrückt ist Reverse Passthrough eine experimentelle VR-Forschungsdemo, die es ermöglicht, die Augen des Trägers eines Headsets von der Außenwelt wahrzunehmen. Dies steht im Gegensatz zu dem, was Quest-Headsets heute leisten können. Passthrough+ und die experimentelle Passthrough-API , die nach außen gerichtete Kameras verwendet, damit Benutzer ihre äußere Umgebung problemlos sehen können, während sie das Headset tragen .

Im Laufe der Jahre haben wir Fortschritte gemacht bei der Aktivierung von Passthrough-Funktionen für Oculus, die Verbraucher und Entwickler erkunden können. Die Idee zu dieser experimentellen Reverse-Passthrough-Forschung kam Matsuda, nachdem er einen Tag im Büro mit einem Quest-Headset mit Passthrough verbracht und darüber nachgedacht hatte, wie sich Mixed-Reality-Umgebungen für soziale und berufliche Situationen nahtloser gestalten lassen. Mit dem Headset mit Passthrough konnte er seine Kollegen und den Raum um sich herum gut sehen. Aber seine Kollegen konnten ihn ohne externes Display nicht sehen. Jedes Mal, wenn er versuchte, mit jemandem zu sprechen, bemerkten diese, wie seltsam es sei, dass er keinen Blickkontakt herstellen konnte. Also stellte Matsuda die Frage: Was wäre, wenn man seine Augen sehen könnte – würde das die soziale Dynamik verbessern?

Als Matsuda 2019 dem FRL-Chefwissenschaftler Michael Abrash erstmals Reverse Passthrough vorführte, war dieser vom Nutzen dieser Arbeit nicht überzeugt. In der Demo trug Matsuda ein speziell angefertigtes Rift S-Headset mit einem 3D-Display auf der Vorderseite. Auf dem Bildschirm bildete ein schwebendes 3D-Bild von Matsudas Gesicht, grob gerendert von einer Game-Engine, seinen Blick mithilfe von Signalen zweier Eye-Tracking-Kameras im Headset nach.

Forscher Nathan Matsuda trägt einen frühen Reverse-Passthrough-Prototyp mit nach außen gerichteten 2D-Displays. Rechts: Die erste voll funktionsfähige Reverse-Passthrough-Demo mit 3D-Lichtfelddisplays.

„Meine erste Reaktion war, dass es eine ziemlich verrückte Idee war, bestenfalls eine Neuheit“, sagte Abrash. „Aber ich sage Forschern nicht, was sie tun sollen, denn ohne die Freiheit, Neues auszuprobieren, gibt es keine Innovation. Und das ist auch gut so, denn jetzt ist es eindeutig eine einzigartige Idee mit echtem Potenzial.“

Fast zwei Jahre nach der ersten Demo haben sich die 3D-Displaytechnologie und der Forschungsprototyp deutlich weiterentwickelt und verfügen über speziell entwickelte Optik, Elektronik, Software und eine Reihe unterstützender Technologien zur Erfassung und Darstellung realistischerer 3D-Gesichter. Diese Fortschritte sind vielversprechend, doch die Forschung ist eindeutig noch experimentell: Angebunden an zahlreiche Kabel ist sie weit von einem eigenständigen Headset entfernt, und die Augen- und Gesichtsdarstellungen sind noch nicht vollständig lebensecht. Es handelt sich jedoch um einen Forschungsprototyp, der im Sinne des Kernethos von FRL Research entwickelt wurde, um auch weit hergeholte Konzepte umzusetzen, die etwas abwegig erscheinen mögen. Obwohl diese Arbeit noch lange nicht einer Produkt-Roadmap entspricht, bietet sie doch einen Einblick, wie Reverse Passthrough in zukünftigen kollaborativen Räumen – sowohl real als auch virtuell – eingesetzt werden könnte.

Links: Ein VR-Headset mit deaktiviertem externen Display, das den aktuellen Stand der Technik darstellt. Durch das undurchsichtige Gehäuse des Headsets sind keine Blickhinweise sichtbar. Mitte : Ein VR-Headset mit nach außen gerichteten 2D-Displays, wie es in früheren wissenschaftlichen Arbeiten vorgeschlagen wurde[1][2][3][4]. Einige Blickrichtungen sind sichtbar, aber die falsche Perspektive schränkt die Fähigkeit des Betrachters ein, die Blickrichtung zu erkennen. Rechts: Unser neuester Prototyp verwendet 3D-Reverse-Passthrough-Displays, die mehreren externen Betrachtern die richtige Perspektive zeigen.

Rückwärtsdurchleitung

Die wesentliche Komponente eines Reverse-Passthrough-Headsets ist das nach außen gerichtete 3D-Display. Man könnte einfach ein 2D-Display auf der Vorderseite des Headsets platzieren und eine flache Projektion des Gesichts des Benutzers darauf anzeigen. Der Versatz des tatsächlichen Gesichts des Benutzers zur Vorderseite des Headsets erzeugt jedoch einen optisch störenden, unnatürlichen Effekt, der jeglichen Blickkontakt unmöglich macht. Im Laufe der Weiterentwicklung des Forschungsprototyps wurde klar, dass ein 3D-Display die bessere Lösung darstellt, da es die Augen und das Gesicht des Benutzers an der korrekten Position im Raum auf der Vorderseite des Headsets erscheinen lässt. Diese Darstellung hilft, die Ausrichtung beizubehalten, wenn sich externe Betrachter relativ zum 3D-Display bewegen.

Es gibt verschiedene etablierte Methoden zur Darstellung von 3D-Bildern. Für diese Forschung verwendeten wir ein Mikrolinsenarray-Lichtfelddisplay, da es dünn, einfach zu konstruieren und auf bestehender LCD-Technologie basiert. Diese Displays verwenden ein winziges Linsenraster, das das Licht verschiedener LCD-Pixel in unterschiedliche Richtungen aussendet. Dadurch sieht der Betrachter je nach Blickrichtung ein anderes Bild. Die Perspektive der Bilder verändert sich automatisch, sodass beliebig viele Personen im Raum das Lichtfelddisplay betrachten und die für ihren Standort korrekte Perspektive erkennen können.

Wie bei jedem Forschungsprototyp im Frühstadium gibt es auch bei dieser Hardware erhebliche Einschränkungen: Erstens darf der Betrachtungswinkel nicht zu steil sein, und zweitens kann der Prototyp nur Objekte scharf darstellen, die sich innerhalb weniger Zentimeter von der physischen Bildschirmoberfläche befinden. Gespräche finden von Angesicht zu Angesicht statt, was den umgekehrten Durchblickwinkel natürlich einschränkt. Da das Gesicht des Trägers nur wenige Zentimeter von der physischen Bildschirmoberfläche entfernt ist, funktioniert die Technologie in diesem Fall gut – und wird noch besser funktionieren, wenn VR-Headsets weiter kleiner werden, beispielsweise durch Methoden wie holographische Optik .

Aufbau des Forschungsprototyps

FRL-Forscher nutzten einen Rift S für erste Untersuchungen des Reverse Passthrough. Als sich das Konzept weiterentwickelte, begann das Team mit der Iteration von Half Dome 2 um den Forschungsprototyp zu bauen, der dieses Jahr auf der SIGGRAPH vorgestellt wurde. Der Maschinenbauingenieur Joel Hegland reduzierte das Headset auf das bloße Displaygehäuse und stellte ein etwa 50 Millimeter dickes VR-Headset her, das als Basis für die neueste Reverse-Passthrough-Demo diente. Anschließend entwarf der Optikwissenschaftler Brian Wheelwright ein Mikrolinsenarray, das vorne angebracht werden sollte.

Das resultierende Headset enthält zwei spiegelbildliche Display-Gehäuse. Sie enthalten ein LCD-Panel und eine Linse für das VR-Basisdisplay. Ein Ring aus Infrarot-LEDs beleuchtet den vom Gehäuse abgedeckten Gesichtsteil. Zwischen Linse und Bildschirm befindet sich ein Spiegel, der nur Infrarotlicht reflektiert, sodass zwei Infrarotkameras das Auge nahezu frontal betrachten können. Durch die Nutzung des unsichtbaren Infrarotbereichs wird verhindert, dass das Augenbildgebungssystem den Nutzer vom VR-Display selbst ablenkt. Auf der Vorderseite des Gehäuses befindet sich ein weiteres LCD mit dem Mikrolinsen-Array.

Hoch: Eine Schnittansicht einer der Prototyp-Ausstellungskapseln. Runter: Der Display-Pod-Prototyp mit Treiberelektronik vor der Installation im vollständigen Headset-Prototyp.

Augen und Gesichter in 3D abbilden

Die Erstellung der verschachtelten 3D-Bilder für die Anzeige auf dem Lichtfelddisplay stellte eine große Herausforderung dar. Für diesen Forschungsprototyp verwendeten Matsuda und sein Team ein Stereokamerapaar, um ein Oberflächenmodell des Gesichts zu erstellen und anschließend die Augenansichten auf diese Oberfläche zu projizieren. Die projizierten Augen und Gesichter wirken zwar nicht lebensecht, doch dies ist nur eine kurzfristige Lösung, die den Weg für zukünftige Entwicklungen ebnet.

Die Codec Avatars-Forschung von FRL weist auf die nächste Generation dieser Bildgebung hin. Codec-Avatare sind realistische Darstellungen des menschlichen Gesichts, der Mimik, der Stimme und des Körpers, die mithilfe von Deep Learning auf Basis kompakter Messungen in Echtzeit in einem VR-Headset erstellt werden können. Diese virtuellen Avatare sollten für den Reverse Passthrough deutlich effektiver sein und ein einheitliches System der Gesichtsdarstellung ermöglichen, das unabhängig davon funktioniert, ob der Betrachter vor Ort ist oder nicht.

Unten sehen Sie ein kurzes Video, das einen Codec-Avatar aus unserem Pittsburgh-Labor läuft auf dem Prototyp des Reverse-Passthrough-Headsets. Diese Bilder und ihre Bewegung im Zeitverlauf wirken deutlich naturgetreuer als die mit der aktuellen Stereokamera-Methode aufgenommenen Bilder. Dies deutet auf die Verbesserungen hin, die ein solches System in Verbindung mit Remote-Telepräsenzsystemen bieten könnte.

Der Reverse-Passthrough-Prototyp zeigt eine hochauflösende Codec-Avatar-Gesichtsrekonstruktion.

Ein Weg zur sozialen Kopräsenz in VR

Vollständig immersive VR und AR-Brillen mit Display sind grundlegend unterschiedliche Technologien, die langfristig wahrscheinlich unterschiedlichen Nutzern in unterschiedlichen Szenarien zugutekommen werden. Es wird Situationen geben, in denen die transparente Optik einer AR-Brille benötigt wird, und andere, in denen die Bildqualität und Immersion von VR bevorzugt werden. Facebook Reality Labs Research hat unter der Leitung von Michael Abrash ein breites Spektrum an neuen technischen Konzepten untersucht, um beide Display-Architekturen voranzutreiben. Die umfassende Erforschung dieses Bereichs stellt sicher, dass das Labor die gesamte Bandbreite an Möglichkeiten – und Grenzen – zukünftiger AR/VR-Geräte erfasst und die Erkenntnisse schließlich so in die Praxis umsetzt, dass die Mensch-Computer-Interaktion für möglichst viele Menschen an möglichst vielen Orten unterstützt wird.

Reverse Passthrough ist ein Beispiel für diese Art von Arbeit – ein Beispiel dafür, wie Ideen aus dem Labor den Nutzen von VR-Headsets vorantreiben. Später in diesem Jahr werden wir ein umfassenderes Update unserer Display-System-Forschung geben und zeigen, wie all dies funktioniert – von Gleitsichtgläsern, holografische Optik , Eye-Tracking und Verzerrungskorrektur bis hin zum Reverse Passthrough – werden zusammengeführt, um uns dabei zu helfen, den sogenannten Visual Turing Test in VR zu bestehen.

Letztendlich werden diese und weitere Innovationen zu VR-Headsets führen, die kompakt, leicht und ganztägig tragbar sind. Sie kombinieren hochwertige virtuelle Bilder mit hochwertigen Bildern der realen Welt und ermöglichen es Ihnen, mit jedem Menschen auf der Welt in Kontakt zu treten, egal ob er sich am anderen Ende der Welt befindet oder direkt neben Ihnen steht. Genau das zu erreichen, ist unser Ziel bei Facebook Reality Labs Research.

Über FACEBOOK Research