Forschung zu Anzeigesystemen: Reverse Passthrough VR

Da AR- und VR-Geräte zu einem immer größeren Teil unserer Arbeits- und Spielweise werden, wie können wir eine nahtlose soziale Verbindung zwischen realen und virtuellen Welten aufrechterhalten? Mit anderen Worten, wie erhalten wir die „soziale Kopräsenz“ in gemeinsam genutzten Räumen zwischen Menschen aufrecht, die möglicherweise an derselben AR/VR-Erfahrung beteiligt sind oder nicht?

Dieses Jahr um SIGGRAPH , Facebook Reality Labs (FRL) Research wird ein neues Konzept für die soziale Kopräsenz mit Virtual-Reality-Headsets vorstellen: Reverse Passthrough VR unter der Leitung des Forschungswissenschaftlers Nathan Matsuda. Einfach ausgedrückt ist Reverse Passthrough eine experimentelle VR-Forschungsdemo, die es der Außenwelt ermöglicht, die Augen einer Person zu sehen, die ein Headset trägt. Dies steht im Gegensatz zu dem, was Quest-Headsets heute leisten können Passthrough+ und das experimentelle Passthrough-API , die nach außen gerichtete Kameras verwendet, damit Benutzer ihre äußere Umgebung leicht sehen können, während sie das Headset tragen .

Im Laufe der Jahre haben wir machte Fortschritte bei der Aktivierung von Passthrough-Funktionen für Oculus, die Verbraucher und Entwickler erkunden können. Tatsächlich kam Matsuda die Idee für diese experimentelle Reverse-Passthrough-Forschung, nachdem er einen Tag im Büro mit einem Quest-Headset mit Passthrough verbracht hatte und darüber nachgedacht hatte, wie Mixed-Reality-Umgebungen für soziale und berufliche Umgebungen nahtloser gestaltet werden könnten. Wenn er das Headset mit Passthrough trug, konnte er seine Kollegen und den Raum um ihn herum gut sehen. Aber seine Kollegen konnten ihn ohne ein externes Display nicht sehen. Jedes Mal, wenn er versuchte, mit jemandem zu sprechen, bemerkten sie, wie seltsam es sei, dass er keinen Augenkontakt herstellen könne. Also stellte Matsuda die Frage: Was wäre, wenn Sie seine Augen sehen könnten – würde das etwas zur sozialen Dynamik beitragen?

Als Matsuda 2019 zum ersten Mal Reverse Passthrough für FRL-Chefwissenschaftler Michael Abrash demonstrierte, war Abrash vom Nutzen dieser Arbeit nicht überzeugt. In der Demo trug Matsuda ein speziell angefertigtes Rift S-Headset mit einem 3D-Display an der Vorderseite. Auf dem Bildschirm bildete ein schwebendes 3D-Bild von Matsudas Gesicht, grob gerendert von einer Spiel-Engine, seinen Blick nach, indem es Signale von zwei Eye-Tracking-Kameras im Headset verwendete.

Forschungswissenschaftler Nathan Matsuda trägt einen frühen Reverse-Passthrough-Prototypen mit nach außen gerichteten 2D-Displays. Rechts: Die erste voll funktionsfähige Reverse-Passthrough-Demo mit 3D-Lichtfeld-Displays.

„Meine erste Reaktion war, dass es eine ziemlich alberne Idee war, bestenfalls eine Neuheit“, sagte Abrash. „Aber ich sage den Forschern nicht, was sie tun sollen, denn Innovation bekommt man nicht ohne die Freiheit, neue Dinge auszuprobieren, und das ist gut so, denn jetzt ist es eindeutig eine einzigartige Idee mit echtem Versprechen.“

Fast zwei Jahre nach der ersten Demo haben sich die 3D-Anzeigetechnologie und der Forschungsprototyp erheblich weiterentwickelt und umfassen speziell entwickelte Optiken, Elektronik, Software und eine Reihe unterstützender Technologien zur Erfassung und Darstellung realistischerer 3D-Gesichter. Dieser Fortschritt ist vielversprechend, aber diese Forschung ist eindeutig noch experimentell: Angebunden an viele Kabel, ist es weit entfernt von einem eigenständigen Headset, und die Augen- und Gesichtswiedergabe ist noch nicht vollständig lebensecht. Es handelt sich jedoch um einen Forschungsprototyp, der im Geiste des Kernethos von FRL Research entwickelt wurde, um mit weit verstreuten Konzepten zu arbeiten, die etwas ausgefallen erscheinen mögen. Diese Arbeit ist zwar noch lange keine Produkt-Roadmap, bietet aber einen Einblick, wie Reverse Passthrough in kollaborativen Räumen der Zukunft eingesetzt werden könnte – sowohl real als auch virtuell.

Links: Ein VR-Headset mit deaktiviertem externem Display, das den aktuellen Stand der Technik darstellt. Durch das undurchsichtige Headset-Gehäuse sind keine Blickhinweise sichtbar. Mitte : Ein VR-Headset mit nach außen gerichteten 2D-Displays, wie in früheren akademischen Arbeiten vorgeschlagen[1][2][3][4]. Einige Blickhinweise sind sichtbar, aber die falsche Perspektive schränkt die Fähigkeit des Betrachters ein, die Blickrichtung zu erkennen. Rechts: Unser aktueller Prototyp verwendet 3D-Reverse-Passthrough-Displays, die mehreren externen Betrachtern die richtige Perspektive zeigen.

Umgekehrter Durchgang

Die wesentliche Komponente in einem Reverse-Passthrough-Headset ist das nach außen gerichtete 3D-Display. Sie könnten einfach ein 2D-Display auf der Vorderseite des Headsets platzieren und eine flache Projektion des Gesichts des Benutzers darauf zeigen, aber der Versatz vom tatsächlichen Gesicht des Benutzers zur Vorderseite des Headsets sorgt für einen optisch störenden, unnatürlichen Effekt, der jeden bricht Hoffnung auf richtige Augenkontakt lesen. Als sich der Forschungsprototyp weiterentwickelte, wurde klar, dass ein 3D-Display die bessere Richtung war, da es die Augen und das Gesicht des Benutzers ermöglichen würde, an der richtigen Position im Raum auf der Vorderseite des Headsets zu erscheinen. Diese Darstellung hilft, die Ausrichtung beizubehalten, wenn sich externe Betrachter in Bezug auf die 3D-Anzeige bewegen.

Es gibt mehrere etablierte Möglichkeiten, 3D-Bilder anzuzeigen. Für diese Forschung haben wir ein Mikrolinsen-Array-Lichtfeld-Display verwendet, da es dünn und einfach zu konstruieren ist und auf vorhandener Consumer-LCD-Technologie basiert. Diese Displays verwenden ein winziges Linsengitter, das Licht von verschiedenen LCD-Pixeln in verschiedene Richtungen aussendet, mit dem Effekt, dass ein Betrachter ein anderes Bild sieht, wenn er aus verschiedenen Richtungen auf das Display blickt. Die Perspektive der Bilder ändert sich auf natürliche Weise, sodass beliebig viele Personen im Raum auf die Lichtfeldanzeige blicken und die richtige Perspektive für ihren Standort sehen können.

Wie bei jedem frühen Forschungsprototypen weist diese Hardware noch erhebliche Einschränkungen auf: Erstens darf der Betrachtungswinkel nicht zu stark sein, und zweitens kann der Prototyp nur Objekte scharf darstellen, die sich innerhalb weniger Zentimeter der physischen Bildschirmoberfläche befinden . Gespräche finden von Angesicht zu Angesicht statt, was natürlich die umgekehrten Betrachtungswinkel einschränkt. Und das Gesicht des Trägers ist nur wenige Zentimeter von der physischen Bildschirmoberfläche entfernt, sodass die Technologie für diesen Fall gut funktioniert – und noch besser funktionieren wird, wenn VR-Headsets mit Methoden wie z Holographische Optik .

Aufbau des Forschungsprototyps

FRL-Forscher verwendeten einen Rift S für frühe Erkundungen des Reverse Passthrough. Als sich das Konzept weiterentwickelte, begann das Team mit der Iteration Halbkuppel 2 um den dieses Jahr auf der SIGGRAPH vorgestellten Forschungsprototyp zu bauen. Joel Hegland, Maschinenbauforschungsingenieur, zerlegte das Headset bis auf den bloßen Display-Pod und stellte ein etwa 50 Millimeter dickes VR-Headset bereit, das als Basis für die neueste Reverse-Passthrough-Demo diente. Dann entwarf der optische Wissenschaftler Brian Wheelwright ein Mikrolinsen-Array, das vorne angebracht werden sollte.

Das resultierende Headset enthält zwei Display-Pods, die Spiegelbilder voneinander sind. Sie enthalten ein LCD-Panel und eine Linse für das Basis-VR-Display. Ein Ring aus Infrarot-LEDs beleuchtet den vom Pod bedeckten Teil des Gesichts. Zwischen Objektiv und Bildschirm befindet sich ein Spiegel, der nur Infrarotlicht reflektiert, sodass ein Paar Infrarotkameras das Auge fast frontal betrachten kann. All dies im unsichtbaren Infrarotband zu tun, verhindert, dass das Augenabbildungssystem den Benutzer von der VR-Anzeige selbst ablenkt. Dann hat die Vorderseite des Pods ein weiteres LCD mit dem Mikrolinsen-Array.

Hoch: Eine Schnittansicht eines der Prototyp-Display-Pods. Runter: Der Prototyp-Display-Pod mit Treiberelektronik vor dem Einbau in den vollständigen Headset-Prototypen.

Augen und Gesichter in 3D abbilden

Die Erzeugung der verschachtelten 3D-Bilder, die auf dem Lichtfeld-Display angezeigt werden sollen, stellte an sich schon eine erhebliche Herausforderung dar. Für diesen Forschungsprototyp entschieden sich Matsuda und sein Team für die Verwendung eines Stereokamerapaars, um ein Oberflächenmodell des Gesichts zu erstellen, und projizierten dann die Ansichten des Auges auf diese Oberfläche. Während die resultierenden projizierten Augen und Gesichter nicht lebensecht sind, ist dies nur eine kurzfristige Lösung, um den Weg für zukünftige Entwicklungen zu ebnen.

Die Codec Avatars-Forschung von FRL weist auf die nächste Generation dieser Bildgebung hin. Codec-Avatare sind realistische Darstellungen des menschlichen Gesichts, Gesichtsausdrucks, der Stimme und des Körpers, die über Deep Learning aus einem kompakten Satz von Messungen gesteuert werden können, die in Echtzeit in einem VR-Headset erfasst wurden. Diese virtuellen Avatare sollten für Reverse Passthrough viel effektiver sein und ein einheitliches System der Gesichtsdarstellung ermöglichen, das funktioniert, unabhängig davon, ob der Betrachter lokal oder entfernt ist.

Das unten gezeigte kurze Video zeigt einen Codec-Avatar von unserem Pittsburgh-Labor läuft auf dem Prototyp des Reverse-Passthrough-Headsets. Diese Bilder und ihre Bewegung im Laufe der Zeit erscheinen viel lebensechter als die mit der aktuellen Stereokameramethode aufgenommenen, was auf die Art von Verbesserungen hinweist, die ein solches System bieten könnte, wenn es mit entfernten Telepräsenzsystemen zusammenarbeitet.

Der Reverse-Passthrough-Prototyp zeigt eine hochauflösende Codec-Avatar-Gesichtsrekonstruktion.

Ein Weg zur sozialen Kopräsenz in VR

Völlig immersive VR- und AR-Brillen mit Display sind grundlegend unterschiedliche Technologien, die langfristig wahrscheinlich verschiedenen Benutzern in unterschiedlichen Szenarien dienen werden. Es wird Situationen geben, in denen Menschen die echte transparente Optik einer AR-Brille benötigen, und andere, in denen Menschen die Bildqualität und Immersion von VR bevorzugen. Facebook Reality Labs Research hat unter der Leitung von Michael Abrash ein weites Netz ausgeworfen, als es neue technische Konzepte untersuchte, um den Ball über diese beiden Display-Architekturen hinweg voranzutreiben. Die vollständige Erforschung dieses Bereichs wird sicherstellen, dass das Labor die gesamte Bandbreite der Möglichkeiten – und Einschränkungen – für zukünftige AR/VR-Geräte erfasst und diese Erkenntnisse schließlich so in die Praxis umsetzt, dass die Mensch-Computer-Interaktion für die meisten Menschen unterstützt wird die meisten Orte.

Reverse Passthrough ist repräsentativ für diese Art von Arbeit – ein Beispiel dafür, wie Ideen aus dem Labor den Nutzen von VR-Headsets vorantreiben. Später in diesem Jahr werden wir ein ganzheitlicheres Update zu unserer Forschung zu Anzeigesystemen geben und zeigen, wie all dies funktioniert – von Gleitsicht, holografische Optik , Eye-Tracking und Verzerrungskorrektur für Reverse Passthrough – kommt zusammen, um uns dabei zu helfen, den sogenannten Visual Turing Test in VR zu bestehen.

Letztendlich werden diese Innovationen und mehr zusammenkommen, um VR-Headsets zu schaffen, die kompakt, leicht und den ganzen Tag tragbar sind; die hochwertige virtuelle Bilder mit hochwertigen realen Bildern mischen; und das lässt Sie mit jedem auf der Welt sozial präsent sein, egal ob sie auf der anderen Seite des Planeten sind oder neben Ihnen stehen. Das zu erreichen, ist unser Ziel bei Facebook Reality Labs Research.

Über FACEBOOK-Recherche