Onsdagen den 11 maj publicerade Patently Apple en rapport med titeln “Nya Google-patent visar att framtida AR-glasögon kommer att fungera synkront med tillbehörsenheter för att fånga luftgester för att styra UI +.” Vår rapport noterade att nästa generations Mixed Reality-hörlurar och AR-smarta glasögon, utvecklade av Apple, Google, Facebook och många andra spelare, har gemensamma funktioner i utvecklingen av manuell spårning och manuell synkronisering i luften. Hantera användargränssnitt, flytta virtuella objekt och mer. fingergester för.
Uppenbart har Apple hittills täckt 59 Apple-patent, som täcker flyggester. Ett av Apples senaste patent publicerades förra månaden under rubriken “Det nya Apple-patentet beskriver på djupet användningen av Signs in the Air för att styra en ny typ av Mixed Reality Headset Interface.” Tekniken är närmare verkligheten än vad många tror.
Förra helgen upptäckte jag två Facebook-patent som visar en del av arbetet hans ingenjörer arbetar med. men ännu viktigare, jag kom över en designers video som visar Facebook SDK medan jag tittade på den manuellt. Följande utdrag, förutom bara patentdiagram, hjälper till att visualisera hur mycket manuell spårning verkligen är för framtida MR-hörlurar för att styra nästa generations användargränssnitt och mer.
Observera att i det nedre högra hörnet av videon ser du utvecklarens händer röra sig, och på den större skärmen interagerar hans eller hennes handspårade virtuella händer med olika delar av det potentiella headsetets användargränssnitt.
Om du vill se mer, se hela videon av Dilmer Valecillos här.
Även om Apple aldrig har släppt prototypvideor av vad de arbetar med, kan du vara säker på att Apples ingenjörer är långt ifrån att bara lämna in patent, och manuella spårningsmodeller utvecklas också. Det ska bli riktigt spännande att se den öppna en dag.
Ett av de två nya Facebook-patenten som utfärdats av US Patent Office kallas “Hand Presence over Keyboard Inclusiveness” daterat den 21 april 2022. Här demonstrerar Facebooks ingenjörer uppfinningen av handspårning specifikt för användning med ett virtuellt tangentbord. noggrannhet och smidighet.
Facebooks patent ŞEK. Följande 5A och 5B beskriver exempel på användare # 210 händer som visas på ett virtuellt tangentbord som visas i # 500 virtuell verklighet miljö # 420. Patent Sec. På 5B-skärmen står det: “Hej, jag skriver i VR!”
(Klicka på bilden för att förstora)
(Klicka på bilden för att förstora)
För mer information, se Facebooks patentansökan 20220121343.
I Facebooks andra patentansökan i Europa förra veckan, “Artificial Reality System with Sliding Menu”, täcker den AR Headphones menygränssnitt, som kan styras av manuella gester i valet av menyalternativ.
Facebooks patentsammandrag säger: “Det artificiella verklighetssystemet beskrivs som att visa, presentera och hantera användargränssnittselement i en konstgjord verklighetsmiljö och utföra åtgärder som svar på en eller flera upptäckta användargester. Det artificiella verklighetssystemet kan aktiveras med en hand och interaktiv meny. Som svar på detekteringen av en menyaktiveringsgest utförd med en hand, kan det artificiella verklighetssystemet orsaka att menyn visas. kan användas för att få elementet att flytta längs menyns horisontella dimension. En handrörelse som är ortogonal mot menyns glidande gest (till exempel en icke-horisontell rörelse) kan få menyn att ändra position. är. ansluta till ett artificiellt verklighetssystem. “
SEC i Facebooks patent. Nedan 2 ser vi hur kameran (# 210 (installerad i HMD) används för att spåra användargester synkroniserade med AR-användargränssnittet på den interna displayen av HMD; är ett flödesschema som visar operationerna i FIGUR 6. exempelmetod för interaktion.
SEC i Facebooks patent. Nedan finns några exempel på 7G- och 7E-användare som manipulerar menyn genom att välja “Inställningar” och/eller “Sociala” mediaknappar med hjälp av fingergester tagna av HMD:s kamerasystem.
För mer information, se EP3980870 Europeisk patentansökan här.
En av de viktigaste striderna för nästa generation av inbyggda enheter kommer att vara att förse användare med en sofistikerad meny för att styra innehåll och spel med ögon- och handspårning. Apple, Facebook, Sony och andra är djupt involverade i utvecklingen av systemen, och Facebook SDK-videon som presenteras ovan hjälper verkligen till att se hur underbart det kan bli i framtiden. Kommer Facebook och andra att kunna slå Apples legendariska UI-utveckling? Svaret kommer med tiden.
