Kredit: Pixabay/CC0 Public Domain
För arbetare som använder maskininlärningsmodeller för att hjälpa dem att fatta beslut är det inte alltid en lätt uppgift att veta när de ska lita på en modells förutsägelser, särskilt eftersom dessa modeller ofta är så komplexa att deras inre funktioner förblir ett mysterium.
Användare använder ibland en teknik, känd som selektiv regression, där modellen uppskattar sin konfidensnivå för varje förutsägelse och kommer att avvisa förutsägelser när dess konfidens är för låg. Sedan kan en människa undersöka dessa fall, samla in ytterligare information och fatta ett beslut om vart och ett manuellt.
Men medan selektiv regression har visat sig förbättra en modells övergripande prestanda, har forskare vid MIT och MIT-IBM Watson AI Lab upptäckt att tekniken kan ha motsatt effekt för underrepresenterade grupper av människor i en datauppsättning. Eftersom modellens förtroende ökar med selektiv regression, ökar också dess chans att göra rätt förutsägelse, men detta händer inte alltid för alla undergrupper.
Till exempel kan en modell som föreslår lånegodkännanden göra färre fel i genomsnitt, men den kan faktiskt göra fler felaktiga förutsägelser för svarta eller kvinnliga sökande. En anledning till att detta kan inträffa är på grund av att modellens konfidensmått tränas med hjälp av överrepresenterade grupper och kanske inte är korrekt för dessa underrepresenterade grupper.
När de hade identifierat detta problem utvecklade MIT-forskarna två algoritmer som kan åtgärda problemet. Genom att använda datauppsättningar från verkliga världen visar de att algoritmerna minskar prestandaskillnader som hade påverkat marginaliserade undergrupper.
“I slutändan handlar det här om att vara mer intelligent om vilka prover du lämnar ut till en människa att hantera. Istället för att bara minimera en bred felfrekvens för modellen vill vi se till att felfrekvensen över grupper tas med i beräkningen på ett smart sätt”, säger senior MIT-författare Greg Wornell, Sumitomo-professorn i teknik vid institutionen för elektroteknik. och datavetenskap (EECS) som leder Signals, Information and Algorithms Laboratory i Research Laboratory of Electronics (RLE) och är medlem i MIT-IBM Watson AI Lab.
Med Wornell på tidningen är medförfattarna Abhin Shah, en EECS-student, och Yuheng Bu, en postdoc i RLE; samt Joshua Ka-Wing Lee SM ’17, ScD ’21 och Subhro Das, Rameswar Panda och Prasanna Sattigeri, forskningspersonal vid MIT-IBM Watson AI Lab. Uppsatsen kommer att presenteras denna månad på den internationella konferensen om maskininlärning.
Att förutsäga eller inte förutsäga
Regression är en teknik som uppskattar sambandet mellan en beroende variabel och oberoende variabler. Inom maskininlärning används regressionsanalys vanligen för förutsägelseuppgifter, som att förutsäga priset på ett hem givet dess egenskaper (antal sovrum, kvadratmeter, etc.) Med selektiv regression kan maskininlärningsmodellen göra ett av två val för varje ingång – den kan göra en förutsägelse eller avstå från en förutsägelse om den inte har tillräckligt förtroende för sitt beslut.
När modellen avstår minskar den andelen prover som den gör förutsägelser om, vilket är känt som täckning. Genom att bara göra förutsägelser om indata som den är mycket säker på bör modellens övergripande prestanda förbättras. Men detta kan också förstärka fördomar som finns i en datauppsättning, som uppstår när modellen inte har tillräckligt med data från vissa undergrupper. Detta kan leda till fel eller dåliga förutsägelser för underrepresenterade individer.
MIT-forskarna syftade till att säkerställa att, eftersom den totala felfrekvensen för modellen förbättras med selektiv regression, förbättras också prestandan för varje undergrupp. De kallar denna monoton selektiv risk.
“Det var utmanande att komma med rätt uppfattning om rättvisa för just detta problem. Men genom att upprätthålla dessa kriterier, monoton selektiv risk, kan vi se till att modellens prestanda faktiskt blir bättre i alla undergrupper när du minskar täckningen, säger Shah.
Fokusera på rättvisa
Teamet utvecklade två neurala nätverksalgoritmer som inför dessa rättvisa kriterier för att lösa problemet.
En algoritm garanterar att funktionerna som modellen använder för att göra förutsägelser innehåller all information om de känsliga attributen i datasetet, såsom ras och kön, som är relevant för målvariabeln av intresse. Känsliga attribut är funktioner som kanske inte används för beslut, ofta på grund av lagar eller organisationspolicyer. Den andra algoritmen använder en kalibreringsteknik för att säkerställa att modellen gör samma förutsägelse för en indata, oavsett om några känsliga attribut läggs till den ingången.
Forskarna testade dessa algoritmer genom att tillämpa dem på datauppsättningar i verkliga världen som kunde användas i beslutsfattande med hög insats. En, en försäkringsdatauppsättning, används för att förutsäga totala årliga medicinska utgifter som debiteras patienter med hjälp av demografisk statistik; en annan, en brottsdatauppsättning, används för att förutsäga antalet våldsbrott i samhällen med hjälp av socioekonomisk information. Båda datamängderna innehåller känsliga attribut för individer.
När de implementerade sina algoritmer ovanpå en standard maskininlärningsmetod för selektiv regression, kunde de minska skillnaderna genom att uppnå lägre felfrekvenser för minoritetsundergrupperna i varje datamängd. Dessutom uppnåddes detta utan att nämnvärt påverka den totala felfrekvensen.
“Vi ser att om vi inte inför vissa begränsningar, i fall där modellen är riktigt säker, kan den faktiskt göra fler fel, vilket kan bli mycket kostsamt i vissa applikationer, som sjukvård. Så om vi vänder trenden och gör den mer intuitiv kommer vi att fånga många av dessa fel. Ett viktigt mål med detta arbete är att undvika att fel blir tyst oupptäckta, säger Sattigeri.
Forskarna planerar att tillämpa sina lösningar på andra applikationer, som att förutsäga huspriser, student GPA eller låneränta, för att se om algoritmerna behöver kalibreras för dessa uppgifter, säger Shah. De vill också utforska tekniker som använder mindre känslig information under modellutbildningsprocessen för att undvika integritetsproblem.
Och de hoppas kunna förbättra konfidensuppskattningarna vid selektiv regression för att förhindra situationer där modellens konfidens är låg, men dess förutsägelse är korrekt. Detta kan minska arbetsbelastningen på människor och ytterligare effektivisera beslutsprocessen, säger Sattigeri.
Metoder som hjälper användare att bestämma om de ska lita på en maskininlärningsmodells förutsägelser kan vidmakthålla fördomar
Mer information:
Abhin Shah et al, Selektiv regression under rättvisa kriterier. arXiv:2110.15403v3 [cs.LG]arxiv.org/abs/2110.15403 Tillhandahålls av Massachusetts Institute of Technology
Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.
Citat:En teknik för att förbättra både rättvisa och noggrannhet i artificiell intelligens (2022, 20 juli) hämtad 20 juli 2022 från https://techxplore.com/news/2022-07-technique-fairness-accuracy-artificial-intelligence.html
Detta dokument är föremål för upphovsrätt. Bortsett från all rättvis handel i syfte att privata studier eller forskning, får ingen del reproduceras utan skriftligt tillstånd. Innehållet tillhandahålls endast i informationssyfte.
Håll kontakten med oss på sociala medieplattformar för omedelbar uppdatering klicka här för att gå med i vår Twitter och Facebook
