Bloggen

Meta bot einen Einblick in die Forschung und Entwicklung von XR, die Milliarden kostet

bis ZhinanZhang auf Nov 03, 2021

Meta Offered a Glimpse into the XR R&D That’s Costing It Billions

Michael Abrash leitet das Team von Meta Reality Labs Research, das mit der Erforschung von Technologien beauftragt wurde, von denen das Unternehmen glaubt, dass sie die Grundlage für XR und die Jahrzehnte der Metaverse in der Zukunft bilden könnten. Auf der Connect 2021 stellte Abrash einige der neuesten Arbeiten der Gruppe vor.

Ganzkörper-Codec-Avatare

Das Codec-Avatar-Projekt von Meta zielt darauf ab, ein System zu entwickeln, das in der Lage ist, fotorealistische Avatare zur Verwendung in XR zu erfassen und darzustellen. Eine große Herausforderung über das einfache „Scannen“ des Körpers einer Person hinaus besteht darin, ihn realistisch zu bewegen – ganz zu schweigen davon, dass das gesamte System echtzeitfähig ist, damit der Avatar in einem interaktiven Kontext verwendet werden kann.

Das Unternehmen hat seine Codec-Avatar-Arbeit bei verschiedenen Gelegenheiten gezeigt, zeigt jedes Mal Verbesserungen . Das Projekt begann zunächst einfach mit hochwertigen Köpfen, hat sich aber inzwischen zu Ganzkörper-Avataren entwickelt.

Das obige Video ist eine Demo, die die neueste Arbeit der Gruppe an Ganzkörper-Codec-Avataren darstellt, die laut Forscher Yaser Sheikh jetzt komplexere Augenbewegungen, Gesichtsausdrücke sowie Hand- und Körpergesten unterstützen, die Selbstkontakt beinhalten. Es wird nicht direkt gesagt, aber das Video zeigt auch einen Zuschauer, der sich die Präsentation in der virtuellen Realität ansieht, was impliziert, dass dies alles in Echtzeit geschieht.

Angesichts der Möglichkeit solch realistischer Avatare in der Zukunft räumte Abrash ein, dass es wichtig sei, über die Sicherheit der eigenen Identität nachzudenken. Zu diesem Zweck, sagt er, „denkt das Unternehmen darüber nach, wie wir Ihren Avatar sichern können, sei es durch die Verknüpfung mit einem authentifizierten Konto oder durch die Überprüfung der Identität auf andere Weise.“

Fotorealistisches Rendern von Haaren und Haut

Während Metas Codec-Avatare bereits verdammt überzeugend aussehen, glaubt die Forschungsgruppe, dass das ultimative Ziel für die Technologie darin besteht, Fotorealismus zu erreichen.

Oben zeigte Abrash, was seiner Meinung nach die neueste Arbeit der Forschungsgruppe im Bereich fotorealistisches Rendern von Haar und Haut und deren Beleuchtung ist. Es wurde nicht behauptet, dass dies in Echtzeit geschah (und wir bezweifeln es), aber es ist ein Blick auf die Messlatte, die das Team mit der Codec-Avatar-Technologie später anstrebt.

Kleidungssimulation

Neben einer hochwertigen Darstellung Ihres Körpers erwartet Meta, dass Kleidung weiterhin ein wichtiges Mittel ist, mit dem sich Menschen im Metaversum ausdrücken möchten. Zu diesem Zweck denken sie, dass es ein wichtiger Teil dieser Erfahrung sein wird, Kleidung realistisch wirken zu lassen. Oben zeigt das Unternehmen seine Arbeit im Bereich Kleidungssimulation und praktische Interaktion.

Virtuelle Räume in High-Fidelity-Echtzeit

Während XR uns leicht in andere Realitäten entführen kann, wäre es auch großartig, Freunde virtuell in Ihren tatsächlichen Wohnraum zu teleportieren. Auf die Spitze getrieben bedeutet das, dass Sie eine vollständige Nachbildung Ihres tatsächlichen Zuhauses und alles darin haben, die in Echtzeit ausgeführt werden kann.

Nun… Meta hat genau das getan. Sie bauten eine Scheinwohnung mit einer perfekten Nachbildung aller darin befindlichen Gegenstände. Auf diese Weise kann sich ein Benutzer im realen Raum bewegen und wie gewohnt damit interagieren, während die virtuelle Version synchron bleibt.

Wenn Sie also virtuelle Gäste zu Besuch haben, können diese tatsächlich sehen, wie Sie sich in Ihrem realen Raum bewegen und auf unglaublich natürliche Weise mit allem darin interagieren. In ähnlicher Weise könnte bei der Verwendung einer AR-Brille eine Karte des Raums mit dieser Genauigkeit die AR-Erfahrungen und -Interaktionen viel überzeugender machen.

Derzeit scheint dies dem Zweck zu dienen, ein „Best Case“-Szenario einer abgebildeten realen Umgebung zu erstellen, mit der das Unternehmen experimentieren kann. Wenn Meta feststellt, dass diese Art von perfekt synchronisiertem realem und virtuellem Raum für wertvolle Anwendungsfälle mit der Technologie wichtig wird, kann es nach Wegen suchen, um es Benutzern zu erleichtern, ihre eigenen Räume mit ähnlicher Präzision zu erfassen.

EMG-Eingang

Während sich Controller und Hand-Tracking heute als nützliche Eingabegeräte für XR erwiesen haben, werden wir, sobald wir uns zu ganztägig getragenen Headsets bewegen, die wir in die Öffentlichkeit tragen, wahrscheinlich nicht mehr die Arme herumschwingen oder die Luft nach vorne strecken wollen von uns, nur eine Nachricht einzugeben oder eine Anwendung zu starten, während wir im Bus sind.

Zu diesem Zweck hat Meta ein viel subtileres und natürlicheres Mittel zur XR-Eingabe über ein am Handgelenk getragenes EMG erforscht. Der Das Unternehmen stellte Anfang dieses Jahres einige seiner Arbeiten an einem am Handgelenk getragenen Eingabegerät vor und zeigte letzte Woche auf der Connect zum ersten Mal ein Prototypgerät, das für die Texteingabe verwendet wird.

Obwohl die schwebende Fensteroberfläche auf der rechten Seite nur eine Simulation ist, behauptet Meta, dass die linke Ansicht ein tatsächliches Prototypgerät zeigt, das die Texteingaben steuert.

Und obwohl es heute in seiner Prototypform langsam ist, glaubt Abrash, dass es ein enormes Potenzial und Raum für Verbesserungen hat; er nennt es „wirklich beispiellose Technologie“.

Kontextbezogene KI

Meta arbeitet auch an kontextbezogenen KI-Systemen, um Augmented Reality nützlicher zu machen.

Um einem System zu helfen, die Absicht des Benutzers zu verstehen, verwendete Meta seine detaillierte virtuelle Wohnungsrekonstruktion als zugrunde liegende Karte, um der Brille zu helfen, die Absicht des Benutzers zu verstehen, indem sie ihren Blick beobachtete.

Durch das Antizipieren der Absicht, sagt Abrash, muss der Benutzer möglicherweise nur eine einzige Taste für die Eingabe haben, die je nach Kontext die richtige Aktion auswählt – wie das Einschalten eines Fernsehers oder eines Lichts. Es ist klar zu sehen, wie diese „einfache Eingabe mit Kontext“ gut zum Konzept des Unternehmens eines am Handgelenk befestigten Eingabegeräts passt.

– – – – –

Laut Abrash ist dieser Überblick über einige der neuesten F&E-Projekte von Meta nur ein Bruchteil dessen, in was investiert, geforscht und gebaut wird. Um die ultimative Vision des Unternehmens vom Metaverse zu erreichen, sagt er, „bedarf es etwa eines Dutzend großer technologischer Durchbrüche […] und wir arbeiten an allen.“

Hinterlasse einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht.