COOLna

Americký lékařský systém spoléhá na algoritmus, aby odhadl, kdo bude vyžadovat lékařskou péči navíc. Analýza více než 200 milionů záznamů v roce 2019 ukázala, že systém výrazně preferoval bělochy, zatímco černochům zdravotní péči navíc nedoporučoval, a to i v případech, že měli stejné zdravotní problémy. Výzkumníci upozornili dodavatele algoritmu na tento problém a podařilo se jim toto znevýhodnění snížit o 80 %.

Americká firma Amazon používala při výběru uchazečů nástroj využívající strojového učení. V roce 2015 Amazon zjistil, že jejich nástroj diskriminoval ženy a na technické pozice častěji obsazoval muže. Nešlo jen o to, že by se na tyto pozice muži častěji hlásili nebo že byli schopnější. Pokud se ucházeli stejně zkušení kandidáti, algoritmus vybral muže a odfiltroval ženu. Algoritmus přímo penalizoval „dívčí“ aktivity v životopisu, a ani pokus tento algoritmus upravit nebyl úspěšný.

Slavným případem je žádost o půjčku. Když americký vynálezce Steve Wozniak, zakladatel společnosti Apple, zkusmo zažádal o půjčku u nové finanční služby Apple Card, systém mu nabídl desetkrát vyšší půjčku, než jeho manželce. „Přitom máme stejný majetek, vše je psáno na oba z nás, nemám žádné oddělené účty,“ dodal Wozniak. Vyšetřovatelé ovšem došli k závěru, že v tomto případě se o diskriminaci nejedná: „Společné jmění manželů není zárukou toho, že oba manželé dostanou stejné podmínky půjčky. Je v pořádku, aby banka brala v úvahu i další faktory, jako historii splácení.“ Vyšetřovatelé ovšem kritizovali banku, že lépe klientům nevysvětlila, jak její systém funguje.

V roce 2018 publikovala Joy Buolamwini z MIT studii, ve které ukázala, že všechny hlavní systémy pro rozpoznávání obličejů jsou výrazně méně úspěšné u lidí tmavé pleti. U černých žen bylo procento chyb až 46,8%, tedy v podstatě na úrovni náhody. „Důležité je, že tento problém se pak promítá do dalších uplatnění těchto technologií,“ zdůraznila Buolamwini. „Mohli by si dovolit takový systém prodávat, kdyby byla takováto vysoká chybovost evidentní napříč populací?“ Její studie odstartovala nejen několik občanských projektů pro zvýšení počítačové gramotnosti, ale také odezvu velkých technologických firem: IBM pozastavila licencování svého systému, Amazon dočasně zakázal jeho používání v policií a Microsoft pozastavil prodeje vládním agenturám a lokálním policejním složkám.