Svenska entreprenörer drar till sig världens uppmärksamhet med eyetracking-teknik
41 7 minuter läst
Eye tracking-programmet har varit under utveckling i minst tjugo år, och ett av de ledande företagen inom domänen är en nystartad framgång från Stockholmsregionen. Tobii, Det håller för närvarande på att bygga enheter som sysselsätter mer än 600 personer runt om i världen och tillhandahåller tjänster för att räkna uppmärksamhet, vilket är den nedersta raden av eyetracking.
Ögonspårningsteknik användes först för vetenskapliga forskningsändamål. Studier i en kontrollerad miljö följde ögonrörelser för att dra slutsatser om var försökspersonerna fokuserade.
Omedvetna om allt eyetracking-arbete för användning i vetenskaplig forskning hittade tre svenska entreprenörer en egen kamerabaserad lösning med infraröd belysning för att rita ett mönster i användarens ögon, och kameran känner senare igen det. Programvaran analyserar data för att bestämma riktningen för personens åsikter.
Tre entreprenörer grundade Tobii för 20 år sedan och hävdade att deras teknik kunde användas för att kontrollera människors ögonrörelser.
Nu, två decennier senare, har systemet förbättrats – och programvaran använder de senaste datorseende och maskininlärningstekniker för att avgöra var någon tittar. Teknikerna är väldigt lika, oavsett om de används som ett skärmbaserat eller bärbart eyetracking-system.
Samtidigt har marknaden förändrats. Företag använder nu eyetracking-teknik för ett växande antal applikationer, från mätning av användarreaktioner till nya produkter och upptäckt av sömniga bilförare. Kraven har också ändrats.
I början var det lätt att övervaka miljön när eyetracking endast användes i vetenskapliga miljöer. Forskare var tvungna att hålla huvudet uppe för att hålla motivet stilla och kunde kontrollera belysningen. Om ett ämne var särskilt svårt att följa kunde forskarna välja ett annat för studien. Målet med affärsapplikationer är dock att engagera användare och verka i så många miljöer som möjligt.
“Problemet med eyetracking är inte hur man aktiverar det, utan hur man använder det för alla människor i vilken miljö som helst”, säger han. Anand Srivatsa, VD för Tobii. “Mycket av det som företaget har gjort under de senaste 20 åren är att titta på hur vi kan ta eyetracking-teknik och göra den stark över en stor befolkning”, sa han. Vi vill täcka människor av olika etnicitet, som har olika ögonformer och olika irisfärger. Vi vill täcka personer med ögonsjukdomar som lättja.
”Människor är inte bara olika, de kan ha ett starkt ljus i omgivningen eller ett ljus framför användaren. Systemet behöver anpassa sig för reflektioner och fungera för användare som bär glasögon. ”
Till exempel kan nya förpackningsföretag vilja veta om en dryckesflaska är attraktiv. Ett sätt att göra detta är att ställa en fråga, men när du ställer en fråga använder personen ett “aktivt sinne” som vanligtvis är partisk. Till exempel kan en man förneka att han inte gillar färgen rosa, eftersom det verkligen lockar hans uppmärksamhet.
För att övervinna dessa fördomar går kommersiell marknadsundersökning nu mot att mäta människors svar istället för att be om öppen information. Eye tracking-teknik är perfekt anpassad till detta behov.
Det första området för kommersiell framgång för Tobii var att hjälpa företag att förstå användarpreferenser. Företaget gick sedan vidare till ett annat steg och sålde apparater av medicinsk kvalitet för att hjälpa till med kommunikationen. Teknik kan användas för att få folk att rösta – med någon amyotrofisk lateral skleros (ALS), som den bortgångne Stephen Hawking, de kunde använda sina ögon för att komma åt tangentbordet.
“Nu, under de senaste fem eller sex åren, har vår teknik mognat tillräckligt för att användas på massmarknaden”, säger Srivatsa. ”Idag ser vi många möjligheter i spel och augmented reality – i virtual reality (VR) och augmented reality (AR). Vi ser också fordonskapacitet för förarövervakningssystem, hälsa, utbildning och träning. Samtidigt fortsätter vi att sälja produkter och tjänster för konsumentforskning och beteende. ”
Srivatsa säger att företaget nu har gått bortom enkla insikter till att mäta andra saker för att få folks uppmärksamhet djupare. ”Det kom helt enkelt till vår kännedom. Det finns dock andra biometriska indikatorer som du kan mäta när du tittar på bilder av människors ögon eller ansikten, till exempel vart deras huvuden pekar och om de pekar vinkelrätt mot skärmen. Rör du huvudet åt vänster eller höger? Vi kallar detta för huvudställningen.
“Självklart, när du tar en bild av någons ansikte kan du göra ansiktsidentifiering som du gör på en iPhone. Du kan se hur öppna dina ögon är. Du kan se om en person är på väg att blunda. Du kan titta på saker som pupilldiameter, vilket kan vara en indikator för andra typer av höga signaler.
”När vi tittar på bilder av människors ansikten och ögon kan vi mäta ytterligare signaler, som vi kallar bassignaler. Och sedan en annan sak vi har gjort under de senaste två decennierna är att kombinera dessa grundläggande signaler till signaler på högre nivå som vi kallar uppmärksamhetssignaler.
“Vi har sömnvarningar som hjälper dig att avgöra om du behöver en fika i bilen eller om du är distraherad.”
Anand Srivatsa, Tobii
“Vi kan säga att du tittar på något som fixering, eller att dina ögon rör sig snabbt på en plats som kallas sakkada. Eller, baserat på elevexpansion, kan du förstå saker relaterade till kognitiv belastning. Man kan ta reda på om någon är stressad och sånt.
– Alla dessa är signaler som kan vara mycket viktiga att mäta och förstå i vetenskaplig forskning eller andra tillämpningar. På parkeringen har vi sömnvarningar för att avgöra om du behöver en fika i bilen eller om du är distraherad. ”
Tobii skapade signallager, vilket förde dem till ett mer allmänt område av “uppmärksamhetsberäkning”, vilket är en viktig komponent i eyetracking. Det är ingen slump att föräldrar säger till sina barn: “Titta på mig när jag pratar med dig.”
Ett av områdena för framtida innovation är AR, där användarna bär ett par normala glasögon, och all teknik måste vara fullt kompatibel med dessa glasögon. Strömhantering med mjukvara för ögonspårning som delar begränsad batteritid med nätverk och display och allt annat är ett stort problem. Miniatyrisering, minskning av energiförbrukningen och minskning av kostnaden för helhetslösningen är områden där mer innovation behövs.
Tobii lanserar en mängd olika plattformar, varav några är USB-kringutrustning som kör mindre än 10 watt. De har även system som sitter på ett VR-headset med en digital signalprocessor från Qualcomm. En av innovationerna under de senaste två decennierna har varit att minska fotavtrycket för både sensorerna som behövs för att ta ögonbilder och rita det du behöver, och chippet som utför den analys på högre nivå som krävs av en dator. fall av användning.
Varje gång nya lösningar hittas måste alla som utvecklar eyetracking-plattformar använda dessa lösningar för stora populationer och i en mängd olika miljöer. “Även om vi löser befolkningsproblemet för en viss typ av tillämpning, måste du gå tillbaka till den nivån av befolkningen så snart du miniatyriseras,” sa Srivatsa.
“Helst skulle man säga att det fungerar till 100 % för alla, vilket förmodligen är ett ouppnåeligt mål. Men om du vill vara på konsumentmarknaderna måste du vara på 90-talet med en hög andel täckning. Det betyder att varje gång man miniatyriserar måste man lösa befolkningsproblemet på nytt för att gå tillbaka till 90-talet. Annars kommer du inte att kunna stänga av produkten. “
Dödsprogram för eyetracking och uppmärksamhetsräkning
Mindre och snabbare processorer, tillsammans med smartare mjukvara, har lett till nya lösningar som kan lösa en mängd olika problem inom olika branscher. Flera mördarprogram är vid horisonten, och ett av de mer uppenbara är förarövervakning.
Den främsta orsaken till bilolyckor är förarfel. Det kallas för världsrörelsen Nollvision, lobbyar för lagstiftning i industriländer för att drastiskt minska antalet dödsolyckor. Europeiska unionen har instruerat en kamerabaserad förare att inte sälja nya bilar förrän 2026 för att avgöra om föraren sover.
Även om självkörande bilar är vanligare måste du se till att föraren är redo att återta kontrollen över fordonet. Det kommer inte att behövas en förare förrän du når den 4:e och 5:e nivån av autonomi. Och förväntas inte för full autonomi (nivå 5) minst 15 år.
Den andra mördarmjukvaran är VR, där ögonspårning eller uppmärksamhetsberäkningar kan användas på konsumenthörlurar för att ge högre nivåer av nedsänkning. Problemet med VR är att det är mer grafiskt intensivt än en stor skärm, eftersom det kräver nästan näthinnekvalitetsbild i ett mycket brett synfält. Foveated rendering tillåter användare att förstå var de fokuserar och sedan visa HD för endast den del av deras vy, vilket drastiskt minskar mängden grafikkraft som krävs.
“Om du tittar på hur våra ögon fungerar kan vi bara se en mycket liten del i hög upplösning,” sa Srivatsa. “Fovea är den del av din näthinna som kan se med full precision och har ett fullt färgområde, och den utgör bara 1% av ditt synfält.
“Om jag vet exakt var du letar kan jag minska skärmbelastningen bara för att komma dit, och du kan faktiskt gå tillbaka till den superlåga upplösningen i andra delar av skärmen. Du förstår inte ens färgerna i vissa delar av detta spektrum, så om du kan göra det supersmart kan du verkligen minska belastningen. Sony tror på entusiastisk rendering och kommer att inkludera det i sina program PSVR 2 hörlurar. ”
Det tredje mördarprogrammet är i AR, där information måste kontextualiseras. Om användaren närmar sig busstationen och tittar på stationen genom glasögon utrustade med AR, måste enheten förstå att användaren är vid hållplatsen och tala om för honom när nästa buss kommer.
Rollen av maskininlärning
Dagens system klarar inte av vissa ovanliga situationer eftersom uppmärksamhetsdetektering ännu inte har individualiserats. De kan inte se skillnad på användare som naturligt ser berusade ut och de som faktiskt är berusade.
“Marknadens förväntningar är att du kan fatta beslut baserat på den information du samlar in medan du utvecklar din produkt”, säger Srivatsa. ”Så man skulle till exempel säga att det här är en referenspopulation som jag har testat i en kontrollerad miljö. En person som är känd för att sova går framför systemet och vi samlar in mätningar för att använda som träningsdata. Maskininlärningsalgoritmer letar sedan efter tecken som kan associeras med en sömnig person.
Srivatsa tror att marknaden kommer att förändras väldigt snabbt när folk vänjer sig vid eyetracking och uppmärksamhetsräkning. Användarens uppfattning kan följa en liknande väg för att bemästra röststyrda system.
“Jag var på Intel i början av 2010 när jag försökte sätta tal på datorer, och vi vägrade eftersom vi sa att det var väldigt svårt,” sa han. ”Det kom helt enkelt till vår kännedom. Sedan hörde vi om Alexa. Vi trodde att det skulle misslyckas – och personligen kunde jag inte föreställa mig varför någon skulle vilja prata med enheten. Nu gör alltid mina barn det.
“Jag förväntar mig att eyetracking – och bredare uppmärksamhetsräkning – tar en liknande väg och blir en del av vardagen innan vi vet ordet av.”
