Earablen presterar lika bra som kamerabaserad ansiktsspårningsteknik men använder mindre ström och erbjuder mer integritet. Kredit: Ke Li/Förutsatt
Cornell-forskare har utvecklat en bärbar hörlursenhet – eller “örbar” – som studsar ljud från kinderna och förvandlar ekona till en avatar av en persons hela rörliga ansikte, med hjälp av akustisk teknik för att erbjuda bättre integritet.
Ett team ledd av Cheng Zhang, biträdande professor i informationsvetenskap, och François Guimbretière, professor i informationsvetenskap, designade systemet, kallat EarIO. Den överför ansiktsrörelser till en smartphone i realtid och är kompatibel med kommersiellt tillgängliga headset för handsfree, trådlös videokonferens.
Enheter som spårar ansiktsrörelser med hjälp av en kamera är “stora, tunga och energikrävande, vilket är ett stort problem för wearables”, sa Zhang. “Också viktigt, de fångar mycket privat information.”
Ansiktsspårning genom akustisk teknologi kan erbjuda bättre integritet, överkomliga priser, komfort och batteritid, sa han.
Teamet beskrev deras öron i “EarIO: A Low-power Acoustic Sensing Earable for Continuously Tracking Detailed Facial Movements”, publicerad i Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.
EarIO fungerar som ett skepp som skickar ut ekolodspulser. En högtalare på varje sida av hörlurarna skickar akustiska signaler till sidorna av ansiktet och en mikrofon fångar upp ekon. När bärare pratar, ler eller höjer på ögonbrynen, rör sig huden och sträcker sig, vilket förändrar ekoprofilerna. En djupinlärningsalgoritm utvecklad av forskarna använder artificiell intelligens för att kontinuerligt bearbeta data och översätta de skiftande ekona till fullständiga ansiktsuttryck.
“Genom kraften i AI hittar algoritmen komplexa samband mellan muskelrörelser och ansiktsuttryck som mänskliga ögon inte kan identifiera”, säger medförfattaren Ke Li, en doktorand inom området informationsvetenskap. “Vi kan använda det för att sluta oss till komplex information som är svårare att fånga – hela framsidan av ansiktet.”
Tidigare försök från Zhang-labbet för att spåra ansiktsrörelser med hjälp av hörlurar med en kamera återskapade hela ansiktet baserat på kindrörelser sett från örat.
Genom att samla in ljud istället för datatunga bilder kan öronen kommunicera med en smartphone via en trådlös Bluetooth-anslutning, vilket håller användarens information privat. Med bilder skulle enheten behöva ansluta till ett Wi-Fi-nätverk och skicka data fram och tillbaka till molnet, vilket potentiellt gör den sårbar för hackare.
“Folk kanske inte inser hur smarta wearables är – vad den informationen säger om dig och vad företag kan göra med den informationen,” sa Guimbretière. Med bilder av ansiktet kan någon också sluta sig till känslor och handlingar. “Målet med det här projektet är att vara säker på att all information, som är mycket värdefull för din integritet, alltid är under din kontroll och beräknas lokalt.”
Att använda akustiska signaler tar också mindre energi än att spela in bilder, och EarIO använder 1/25 av energin från ett annat kamerabaserat system som Zhang-labbet utvecklat tidigare. För närvarande håller öronen cirka tre timmar på ett trådlöst hörlursbatteri, men framtida forskning kommer att fokusera på att förlänga användningstiden.
Forskarna testade enheten på 16 deltagare och använde en smartphonekamera för att verifiera noggrannheten i dess ansiktshärmande prestanda. Inledande experiment visar att det fungerar medan användare sitter och går runt, och att vind, vägbuller och bakgrundsdiskussioner inte stör dess akustiska signalering.
I framtida versioner hoppas forskarna kunna förbättra öronsnäckans förmåga att avstänga närliggande ljud och andra störningar.
“Den akustiska avkänningsmetoden som vi använder är mycket känslig”, säger medförfattaren Ruidong Zhang, doktorand inom området informationsvetenskap. “Det är bra, eftersom det kan spåra mycket subtila rörelser, men det är också dåligt för när något förändras i miljön, eller när ditt huvud rör sig något, fångar vi också det.”
En begränsning av tekniken är att EarIO innan den första användningen måste samla in 32 minuters ansiktsdata för att träna algoritmen. “Så småningom hoppas vi kunna göra den här enheten plug and play,” sa Zhang.
Smart halsband kan spåra dina detaljerade ansiktsuttryck
Mer information:
Ke Li et al, EarIO: En lågeffekts akustisk avkänning för kontinuerlig spårning av detaljerade ansiktsrörelser, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (2022). DOI: 10.1145/3534621 Tillhandahålls av Cornell University
Citat:Bärbar enhet använder ekolod för att rekonstruera ansiktsuttryck (2022, 19 juli)hämtad 19 juli 2022 från https://techxplore.com/news/2022-07-wearable-device-sonar-reconstruct-facial.html
Detta dokument är föremål för upphovsrätt. Bortsett från all rättvis handel i syfte att privata studier eller forskning, får ingen del reproduceras utan skriftligt tillstånd. Innehållet tillhandahålls endast i informationssyfte.
Håll kontakten med oss på sociala medieplattformar för omedelbar uppdatering klicka här för att gå med i vår Twitter och Facebook
