En illustration av finkornig skissbaserad bildhämtning (FG-SBIR), där en mänsklig skiss på fri hand fungerar som fråga för hämtning av bilder på instansnivå. FG-SBIR är utmanande på grund av 1) uppgiftens finkorniga och domänöverskridande karaktär och 2) frihandskisser är mycket abstrakta, vilket gör finkornig matchning ännu svårare. Kredit: Bhunia et al.
Forskare vid SketchX, University of Surrey har nyligen utvecklat en meta-inlärningsbaserad modell som tillåter användare att hämta bilder av specifika föremål helt enkelt genom att skissa dem på en surfplatta, smartphone eller på andra smarta enheter. Detta ramverk beskrevs i ett dokument som skulle presenteras vid den europeiska konferensen om datorseende (ECCV), en av de tre främsta konferenserna för datorseende tillsammans med CVPR och ICCV.
“Detta är det senaste i arbetet med “finkornig bildhämtning”, ett problem som mitt forskningslabb (SketchX, som jag regisserade och grundade redan 2012) var banbrytande redan 2015, med en artikel publicerad i CVPR 2015 med titeln “Skissa mig den där skon”, säger Yi-Zhe Song, en av forskarna som genomförde studien, till TechXplore. “Tanken bakom vårt papper är att det ofta är svårt eller omöjligt att utföra bildhämtning på en finkornig nivå, (t.ex. att hitta en viss typ av sko på julen, men inte vilken sko som helst).”
Tidigare försökte en del forskare ta fram modeller som kan hämta bilder baserat på text- eller röstbeskrivningar. Text kan vara lättare för användare att producera, men det visade sig bara fungera på en grov nivå. Det kan med andra ord bli tvetydigt och ineffektivt när man försöker beskriva detaljer.
Skisser eller klotter, å andra sidan, är till sin natur finkorniga och är därför optimala för att producera detaljerade och exakta representationer av objekt. Dessutom har de flesta moderna smarta enheter pekskärmar som användarna kan producera skisser på.
”De viktigaste utmaningarna när det kommer till skissbaserad finkornig bildhämtning är mest att: (i) människor bara inte kan skissa bra, (ii) vi skissar med olika stilar och (iii) det finns inte tillräckligt många skisser för att träna bra modeller”, förklarade Song. “Vi har publicerat en serie artiklar om detta ämne som tar upp olika aspekter varje gång. Vårt senaste dokument tar upp alla tre problemen på en gång och tänjer ytterligare på gränsen mot praktiskt utnyttjande av tekniken.”
Modellen som utformats av Song och hans kollegor gör att även användare som inte är särskilt skickliga på att skissa kan hämta bilder av objekten de letar efter, även om det inte har tränats med bilder av dessa objekt. Detta möjliggörs av dess “adaptiva” design, som gör att systemet kan anpassa sig till en användares unika ritstil, kvaliteten på hans/hennes ritningar och nya objektkategorier med bara några exempelskisser.
Frihandsskissning är idealisk för finkornig bildhämtning på instansnivå. Kredit: Bhunia et al.
“Vårt system lär sig att arbeta med dig (förstår dina skisser bättre) mycket snabbt medan du använder det de första gångerna – vanligtvis räcker 2–3 exempel mer än tillräckligt”, sa den första författaren, Ayan Bhunia. “Det bästa är att den här anpassningen endast sker vid testtillfället, vilket innebär att man inte behöver träna en ny modell för en annan användare/kategori – det här underlättar i hög grad praktisk implementering, bara leverera samma utbildade modell till varje kund och den kommer att lära sig att arbeta med olika stilar/kvaliteter/kategorier när de väl har implementerats.”
I initiala utvärderingar med hjälp av offentliga datauppsättningar presterade forskarnas modell anmärkningsvärt bra, eftersom den kunde hämta bilder med hjälp av olika exempelskisser. I framtiden kan den användas av online-återförsäljare och andra företag för att låta sina kunder hitta de typer av produkter de söker utan att bläddra igenom hela deras katalog.
“Vårt arbete är redan väldigt moget, nästa steg kommer att vara att kommersialisera vårt system och låta vanliga användare dra nytta av den senaste utvecklingen inom AI, så att de kan hitta “det där” paret skor bara genom att klottra med sina fingrar på en telefonskärm ”, lade Song till. “På längre sikt skulle vi också kunna utöka finkornig hämtning till Metaverse. Föreställ dig att du kort skissar med dina fingrar i 3D-världen och har rätt produkt/byggnad/objekt dyka upp framför dig.”
Song och hans kollegor försöker nu kommersialisera sin modell och främja dess introduktion i verkliga miljöer. Vissa världskända möbel- och klädhandlare har redan uttryckt sitt intresse för att använda modellen för att förbättra sina tjänster.
Datorskisser som gör onlineshopping mycket enklare
Mer information:
Ayan Kumar Bhunia et al, Adaptiv finkornig skissbaserad bildhämtning. arXiv:2207.01723v2 [cs.CV]arxiv.org/abs/2207.01723
© 2022 Science X Network
Citat:Ett system för att hämta bilder med hjälp av skisser på smarta enheter (2022, 19 juli)hämtad 19 juli 2022 från https://techxplore.com/news/2022-07-images-smart-devices.html
Detta dokument är föremål för upphovsrätt. Bortsett från all rättvis handel i syfte att privata studier eller forskning, får ingen del reproduceras utan skriftligt tillstånd. Innehållet tillhandahålls endast i informationssyfte.
Håll kontakten med oss på sociala medieplattformar för omedelbar uppdatering klicka här för att gå med i vår Twitter och Facebook
