A mesterséges intelligencia torzítási problémával rendelkezik, és ez a mi hibánk

2016-ban a Bostoni Egyetem és a Microsoft kutatói a mesterséges intelligencia algoritmusain dolgoztak, amikor felfedezték a rasszista és szexista tendenciákat a technológiában, amely a legnépszerűbb és kritikusabb szolgáltatások közül néhányat alkot, amelyet minden nap használunk. A kinyilatkoztatás ellentétes volt a hagyományos bölcsességgel, miszerint a mesterséges intelligencia nem szenved a nemi, faji és kulturális előítéletektől, amelyeket mi emberek teszünk.

A kutatók ezt a felfedezést a szóba ágyazó algoritmusok tanulmányozása során végezték el. Ez a típusú AI a különféle szavak között korrelációkat és asszociációkat talál a nagy szöveges szövegek elemzésével. Például egy képzett szóbeillesztési algoritmus megértheti, hogy a virágokra vonatkozó szavak szorosan kapcsolódnak a kellemes érzésekhez. Gyakorlati szinten a szóbeágyazás megérti, hogy a „számítógépes programozás” kifejezés szorosan kapcsolódik a „C ++”, „JavaScript” és az „objektum-orientált elemzéshez és tervezéshez”. Ha folytatja a szkennelési alkalmazásba való integrációt, ez a funkció lehetővé teszi a munkaadók számára, hogy kevesebb erőfeszítéssel keressenek képesített jelölteket. A keresőmotorokban jobb eredményt nyújthat, ha olyan tartalmat hoz létre, amely szemantikusan kapcsolódik a keresett kifejezéshez.

A BU és a Microsoft kutatói úgy találták, hogy a szóbeágyazási algoritmusok problematikus torzításokkal rendelkeznek, például: a „számítógépes programozó” társítását a férfi névmásokkal, a „háztartást” a nőkkel társítják. Megállapításaikat, amelyeket egy "Az ember számítógépes programozóként, míg nő háziasszonyként" címû címû tanulmányban közzétették? egyike volt a számos jelentésnek, amely megcáfolta az AI semlegesség mítoszát, és rávilágított az algoritmikus torzításokra, egy jelenség, amely eléri a kritikus dimenziókat, amikor az algoritmusok egyre inkább bekapcsolódnak mindennapi döntéseinkbe.

Az algoritmikus torzítás eredete

A legtöbb kortárs AI-alapú szoftver alapját a gépi tanulás és a mélytanulás algoritmusok képezik. A hagyományos szoftverekkel ellentétben, amelyek előre definiált és ellenőrizhető szabályok alapján működnek, a mély tanulás létrehozza saját szabályait, és példaként tanul.

Például egy mély tanuláson alapuló képfelismerő alkalmazás létrehozásához a programozók "kiképezik" az algoritmust felcímkézett adatok megadásával: ebben az esetben a felsorolt ​​objektum nevével felcímkézett fényképeket. Miután az algoritmus elegendő példát talált, megismerheti a hasonló mintákkal ellátott adatok közti mintákat, és felhasználhatja ezeket az információkat a nem címkézett minták osztályozására.

Ez a mechanizmus lehetővé teszi a mélyreható tanulást számos olyan feladat végrehajtására, amelyek gyakorlatilag lehetetlenek voltak a szabályalapú szoftverekkel. Ugyanakkor azt is jelenti, hogy a mélyen tanuló szoftverek rejtett vagy nyilvánvaló torzításokat örökölhetnek.

"Az AI algoritmusok nem eredendően elfogultak" - mondja Venkatesh Saligrama professzor, aki a Bostoni Egyetem Villamos- és Számítástechnikai Tanszékén tanít, és szóbeágyazási algoritmusokat dolgozott. "Determinisztikus funkcionalitással rendelkeznek, és felvesznek minden tendenciát, amely már létezik az általuk kiképezött adatokban."

A bostoni egyetemi kutatók által tesztelt szóbeágyazási algoritmusokat a Google Hírek, a Wikipedia és más online források százezres cikkeinek tanulmányozására készítették, amelyekbe a társadalmi elfogultság mélyen beágyazódott. Például a technológiai iparban uralkodó átfogó kultúra miatt a férfi nevek gyakrabban fordulnak elő tech-nal kapcsolatos munkákkal - és ez az algoritmusok eredményeként társítja a férfiakat olyan feladatokhoz, mint például a programozás és a szoftverfejlesztés.

"Az algoritmusok nem rendelkeznek az emberi elme hatalmával abban, hogy megkülönböztessék a jót a helytelentől" - tette hozzá Tolga Bolukbasi, a BU utolsó évi doktorandusz hallgatója. Az emberek megítélhetik cselekedeteink erkölcsét, még akkor is, ha az etikai normák ellen döntünk. Az algoritmusok esetében az adatok a végső meghatározó tényezők.

Saligrama és Bolukbasi nem az elsők voltak, akik riasztást idéztek elő ezen elfogultság miatt. Az IBM, a Microsoft és a torontói egyetem kutatói egy, a 2011-ben megjelent cikkben hangsúlyozták az algoritmikus diszkrimináció megakadályozásának szükségességét. Akkoriban az algoritmikus elfogultság ezoterikus aggodalomra ad okot, és a mély tanulás még mindig nem jutott el a mainstream rendszerbe. Ma azonban az algoritmikus elfogultság már nyomot hagy sok dolgunkban, mint például a hírek olvasása, a barátok keresése, az online vásárlás és a Netflix és a YouTube videóinak megtekintése.

Az algoritmikus torzítás hatása

2015-ben a Google-nak bocsánatot kellett kérnie, miután a Fotók alkalmazását működtető algoritmusok két fekete embert gorillákként jelöltek meg - talán azért, mert a képzési adatállományában nem volt elegendő kép a fekete emberekről. 2016-ban az AI által elbírált szépségverseny 44 győzteséből szinte mindegyik fehér, néhány ázsiai volt, és csak egyet sötét bőrű volt. Ennek oka ismét az volt, hogy az algoritmust leginkább fehér emberek fényképeivel készítették.

A Google Fotók, szar leszel. A barátom nem gorilla. pic.twitter.com/SMkMCsNVX4

- A jackyalciné itt sokat nem válaszol. DM (@jackyalcine), 2015. június 29

A közelmúltban az IBM és a Microsoft arc-elemző szolgáltatásainak tesztelésével a vállalatok algoritmusai szinte hibátlanok voltak a világos bőrű férfiak nemének felismerésében, de gyakran tévedtek, amikor sötét bőrű nőket ábrázolták.

Noha ezek az események valószínűleg elhanyagolható károkat okoztak, ugyanez nem mondható el az AI algoritmusokról olyan kritikusabb területeken, mint például az egészségügy, a bűnüldözés és a toborzás. 2016-ban a ProPublica által végzett vizsgálat megállapította, hogy a COMPAS - az AI-vezérelt szoftver, amely felméri az elkövetők visszaesésének kockázatát - elfogult volt a színes emberekkel szemben. A felfedezés különösen azért volt rettenetes, mert egyes államok bírói a COMPAS segítségével határozzák meg, ki szabadon jár, és ki marad börtönben.

Egy másik esetben a Google hirdetőplatformjának, amelyet mélyreható algoritmusok működtetnek, tanulmánya megállapította, hogy a férfiak gyakrabban jelentek meg a magas fizetésű munkahelyek hirdetésein, mint a nők. Egy külön tanulmány hasonló problémát talált a LinkedIn álláshirdetéseivel kapcsolatban. Egy másik megmutatta, hogy az elfogult bérleti algoritmusok 50 százalékkal nagyobb valószínűséggel küldnek interjúk meghívást egy olyan embernek, akinek az neve amerikai-amerikai, mint egy afro-amerikai névvel.

Az olyan területek, mint a kölcsön jóváhagyása, a hitelminősítés és az ösztöndíj, hasonló veszélyekkel néznek szembe.

Az algoritmikus torzítás további aggodalomra ad okot, mivel ez erősítheti a társadalmi torzulásokat. Az illúzió szerint, hogy az AI hideg, a matematikai számítások nem tartalmaznak előítéleteket és elfogultságokat, az emberek hajlamosak bízni az algoritmikus megítélésen, annak megkérdőjelezése nélkül.

Az Edinburgh Napier University kriminológiai oktatója, Andrew Wooff egy a Wired UK-vel készített interjúban megfigyelte, hogy a rendészet rendkívül „időigényes, erőforrás-igényes” világa arra készteti a rendészeti tisztviselőket, hogy túl sokat támaszkodjanak az algoritmikus döntésekre. "El tudom képzelni egy olyan helyzetet, amikor egy rendőr inkább a rendszerre támaszkodhat, mint a saját döntéshozatali folyamataikra" - mondta. "Ez részben az lehet, hogy igazolhatja a döntést, ha valami rosszul megy."

Az elfogult algoritmusokra támaszkodva visszacsatolási hurkot hoz létre: Olyan döntéseket hozunk, amelyek torzább adatokat hoznak létre, amelyeket az algoritmusok a jövőben elemeznek és továbbképznek.

Ez a fajta dolog már megtörténik a közösségi média hálózatain, például a Facebookon és a Twitterön. A hírcsatornákat futtató algoritmusok "szűrőbuborékokat" hoznak létre, amelyek olyan tartalmat mutatnak, amely megfelel a felhasználók preferenciáinak és elfogultságának. Ez kevésbé toleránsá teheti őket az ellentétes nézetekkel szemben, és tovább polarizálhatja a társadalmat azáltal, hogy éket húz a politikai és társadalmi megosztottságon.

"Az algoritmikus torzítás bármely csoportot érinthet" - mondja Jenn Wortman Vaughan, a Microsoft vezető kutatója. "Azok az csoportok, amelyek alulreprezentáltak az adatokban, különösen veszélyben vannak."

Az olyan területeken, amelyekről már ismert a torzítás, például a technológiai iparban a nőkkel szembeni endémiás diszkrimináció, az AI algoritmusok hangsúlyozzák ezeket az torzításokat, és további marginalizálódást eredményezhetnek a nem megfelelően képviselt csoportok számára.

Az egészség egy másik kritikus terület, rámutat Wortman. "Komoly problémákat okozhat, ha az orvosi diagnózishoz használt gépi tanulási algoritmust az egyik populáció adataira képzik, és ennek eredményeként mások számára nem teljesít jól" - mondja.

Az elfogultság finomabb módon is káros lehet. "Tavaly azt terveztem, hogy a lányomat fodrászra vigyem, és inspirációt kerestem az interneten a" kisgyermekes hajvágások "képeiről" - mondja Wortman. De a visszaadott képek szinte az összes fehér gyermek, elsősorban egyenes hajúak, és meglepőbb, hogy elsősorban a fiúk.

A szakértők ezt a jelenséget reprezentációs károsnak nevezik: amikor a technológia megerősíti a sztereotípiákat vagy csökkenti a meghatározott csoportokat. "Nehéz meghatározni vagy mérni az ilyen torzítás pontos hatását, de ez nem jelenti azt, hogy nem fontos" - mondja Wortman.

A torzítás eltávolítása az AI algoritmusokból

Az AI elfogultságának egyre kritikusabb következményei felhívták számos szervezet és kormányzati szerv figyelmét, és pozitív lépéseket tesznek az AI különféle területeken történő használatával kapcsolatos etikai és társadalmi kérdések kezelése érdekében.

A Microsoft, amelynek termékei nagymértékben támaszkodnak az AI algoritmusokra, három évvel ezelőtt elindította a méltányosság, elszámoltathatóság, átláthatóság és etika az AI-ben (FATE) nevű kutatási projektet, amelynek célja, hogy a felhasználók megkülönböztetés nélkül élvezhessék az AI-alapú szolgáltatások fokozott betekintését és hatékonyságát. Elfogultság.

Bizonyos esetekben, mint például az AI által eldöntött szépségverseny, az AI algoritmus elfogult viselkedésének forrása megtalálása és rögzítése ugyanolyan egyszerű lehet, mint az edzés adatállományában található fényképek ellenőrzése és módosítása. Más esetekben, például a szóbeillesztési algoritmusokban, amelyeket a Bostoni Egyetem kutatói megvizsgáltak, az elfogultság finomabb módon van beépítve a képzési adatokba.

A BU csapata, amelyhez Kalai Adam, a Microsoft kutatója csatlakozott, kifejlesztett egy módszert a szóbeágyazások osztályozására a nemek szerinti besorolásuk alapján és az esetlegesen torzított analógiák azonosítására. De nem adták meg a végső döntést, és 10 gyanúsított egyesületet futtattak a Mechan Turkban, az Amazon online adatpiacán az adatokkal kapcsolatos feladatok elvégzésére, akik eldöntenék, hogy töröljék-e az egyesületet.

"Nem akartuk a saját elfogultságát beilleszteni a folyamatba" - mondja Saligrama, a BU professzora és kutatója. "Éppen az eszközöket adtuk a problémás társulások felfedezéséhez. Az emberek meghozták a végső döntést."

Egy újabb cikkben Kalai és más kutatók külön algoritmusok használatát javasolták a különféle embercsoportok osztályozására, ahelyett, hogy mindenkire ugyanazokat az intézkedéseket használnák. Ez a módszer hatékony lehet olyan területeken, ahol a meglévő adatok már elfogultak egy adott csoport javára. Például az olyan algoritmusok, amelyek a programozási feladatra pályázó női pályázókat felmérnék, az adott csoport számára legmegfelelőbb kritériumokat használnák ahelyett, hogy szélesebb adatsort használnának, amelyet mélyen befolyásolnak a meglévő torzulások.

A Microsoft Wortman úgy véli, hogy az AI iparágba való befogadás szükséges lépés az algoritmusok torzulása elleni küzdelemben. "Ha azt akarjuk, hogy AI-rendszereink mindenki számára hasznosak legyenek, és ne csak bizonyos demográfiai mutatók, akkor a vállalatoknak különféle csapatokat kell felvenniük, hogy dolgozzanak az AI-n" - mondja.

2006-ban Wortman segített létrehozni a nőket a gépi tanulásban (WiML), amely éves workshopot tart, ahol az AI-iparban tanulmányozó és dolgozó nők találkozhatnak, hálózatba léphetnek, ötleteket cserélhetnek, és részt vehetnek panel megbeszéléseken az ipar és a tudományos élet vezető nőivel. Hasonló erőfeszítés az új Black in AI Workshopban, amelyet Timber Gebru, egy másik Microsoft kutató alapított, amelynek célja az AI-ban sokkal tehetségesebb ismeretek felépítése.

A Bostoni Egyetem Bolukbasi szintén javasolja az AI algoritmusok problémák megoldásának megváltoztatását. "Az algoritmusok olyan szabálykészletet választanak, amely maximalizálja a céljaikat. Számos módszer lehet arra, hogy ugyanazokat a következtetéseket hozzuk az adott bemeneti kimeneti párokra" - mondja. "Vegyük példát a feleletválasztós tesztekre az embereknél. Rossz gondolkodási folyamattal lehet a helyes választ megkapni, de ennek ellenére ugyanazt a pontszámot kaphatjuk. Egy magas színvonalú tesztet úgy kell megtervezni, hogy minimalizálja ezt a hatást, csak annyit engedve, hogy az emberek ismeri a témát a helyes pontszámok megszerzése érdekében. A társadalmi korlátok tudatában lévő algoritmusok analógnak tekinthetők ennek a példanak (bár nem pontosak), ahol a helytelen szabályok megtanulása a célban büntetendő. Ez egy folyamatos és kihívást jelentő kutatás téma."

Az AI átlátszatlansága bonyolítja a méltányosságot

Egy másik kihívás, amely az AI algoritmusok tisztességesebbé tétele szempontjából a "fekete doboz" jelenség. Sok esetben a vállalatok féltékenyen őrzik algoritmusaikat: például a Northpointe Inc., a COMPAS, a bűncselekmény-előrejelző szoftver gyártója, megtagadta a szabadalmaztatott algoritmusának a nyilvánosságra hozatalát. A COMPAS belső működése csak a programozók számára rejlik, a bírák nem az ítélet meghozatalához használják.

A vállalati titoktartáson kívül az AI algoritmusok oly gyakran összefonódnak, hogy döntéseik okai és mechanizmusai még alkotóikat is megkerülik. Az Egyesült Királyságban a durhami rendõrség a HART AI rendszert használja annak meghatározására, hogy a gyanúsítottaknak alacsony, közepes vagy magas a kockázata annak, hogy egy további két éven belül további bûncselekményeket kövessenek el. A HART 2017. évi tudományos áttekintése azonban rámutatott, hogy "az átlátszóságot nehéznek tűnik elkerülni." Ez részben annak köszönhető, hogy a rendszer nagy mennyiségű és sokféle adatot használ, ami megnehezíti a döntéseinek okainak elemzését. "Ezek a részletek szabadon elérhetők lehetnek a nyilvánosság számára, de hatalmas időt és erőfeszítést igényelnek a teljes megértéshez" - mondja a cikk.

Számos vállalat és szervezet vezet az erőfeszítések átláthatóságának elősegítésére az AI-ben, köztük a Google, amely elindította a GlassBox-ot, egy olyan kezdeményezést, amelynek célja a gépi tanulási algoritmusok érthetőbbé tétele a kimeneti minőség feláldozása nélkül. Az AI hadseregben való használatát felügyelő Védelmi Fejlett Kutatási Projektek Ügynöksége (DARPA) szintén támogatja az erőfeszítéseket annak lehetővé tétele érdekében, hogy az AI algoritmusok magyarázzák döntéseiket.

Más esetekben az elítélés kezelésében kulcsfontosságú az emberi megítélés. A Durham Constabulary megakadályozta, hogy a meglévő faji és társadalmi elfogultságok bemászódjanak a HART algoritmusaiba. A rendõrség szintén lépéseket tett az adatpontok - például a faji jellemzõk - eltávolítására, amelyek megalapozhatják az elfogult döntéseket.

Emberi felelősségvállalás

Más szempontból az AI algoritmusok lehetőséget adnak arra, hogy tükrözzék saját elfogultságainkat és előítéleteinket. "A világ elfogult, a történeti adatok elfogultak, ezért nem meglepő, hogy elfogult eredményeket kapunk" - mondta Sandra Wachter, az Oxfordi Egyetem adat etikájának és algoritmusának kutatója a The Guardian-nek .

A Wachter a londoni Alan Turing Intézet és az Oxfordi Egyetem kutatócsoportjának része, amely kiadott egy dokumentumot, amely előírásokat és intézményeket szólított fel az AI algoritmusok alapján történő esetleges megkülönböztetés vizsgálatára.

A The Guardiannel való beszélgetés során Joanna Bryson, a Bath-i egyetemi számítógépes tudós és az algoritmikus torzításokkal foglalkozó kutatási cikk társszerzője így szólt: "Sokan azt mondják, hogy az AI előítélete előítélete van. Nem. Ez azt mutatja, hogy mi előítélettel él, és hogy AI megtanulja."

2016-ban a Microsoft elindította a Tay-t, egy Twitter botot, amelynek állítólag az emberektől kellett tanulnia és okos beszélgetéseket folytatnia. De a Tay indulásától számított 24 órán belül a Microsoftnak le kellett állítania azt, miután megkezdte a rasszista megjegyzések szétválasztását, amelyet a Twitter-felhasználókkal folytatott beszélgetése során felvette. Talán ez egy emlékeztető arra, hogy múlt idő, hogy mi emberek, elismerjük saját szerepünket az algoritmikus elfogultság jelenségének megjelenésében és terjesztésében, és együttes lépéseket tegyünk annak hatásainak visszavonására.

"Ez egy nagyon bonyolult feladat, de felelősség, hogy mi, mint társadalom, ne kerüljünk el" - mondja Wachter.