Přehled informací o rizicích v souvislosti s umělou inteligencí

Doprava

Smrtelná nehoda autonomního vozidla Uber (Arizona, 2018): Testovací samořídící vůz Uber srazil chodkyni při noční jízdě v Tempe (bbc.com). Typ AI: autonomní řízení využívající počítačové vidění a strojové učení pro rozpoznávání okolí. Problém: Systém vozidla sice zaznamenal chodce více než 5 sekund před srážkou, ale nedokázal správně identifikovat objekt jako člověka (bbc.com), takže nezačal brzdit. Navíc bezpečnostní řidič nesledoval silnici (v době nehody sledoval video na telefonu) a nestihl včas reagovat (bbc.com). Incident byl prvním úmrtím chodce způsobeným autonomním vozem. Opatření: Americký úřad NTSB shledal nedostatky v bezpečnostní kultuře Uberu a poukázal i na chybějící regulace při testování autonomních aut (bbc.com). NTSB následně doporučil zpřísnit dohled a schvalovací procesy dříve, než budou autonomní technologie nasazeny na veřejné silnice (bbc.com). Uber po nehodě dočasně přerušil testování, zlepšil software i sledování pozornosti řidičů a úřady začaly vydávat přísnější pokyny pro testování samořídících vozů.

Nehody vozů Tesla s autopilotem: Například v USA došlo k několika vážným nehodám Tesel s aktivovaným režimem Autopilot. Typ AI: pokročilý asistovaný autopilot (částečně autonomní řízení s prvky strojového učení) pro udržování jízdního pruhu a odstupu. Problém: Systém Autopilot nezvládl některé situace a řidiči spoléhali na AI víc, než je bezpečné. V jednom případě (Florida 2019) Tesla na autopilotu v plné rychlosti narazila do boku nákladního kamionu – ani autopilot, ani řidič nezahájili úhybný manévr před střetem (theverge.com). Řidič zemřel; podobně v roce 2016 při jiné nehodě Autopilot nedetekoval bílý bok přívěsu na světlém pozadí a došlo k smrtelné nehodě (theverge.com). Vyšetřování ukázalo, že příčinou bylo přetížení či limity senzoru a přílišná důvěra řidiče v automat (ntsb.gov). Opatření: Národní úřady (NTSB, NHTSA) zahájily šetření těchto incidentů (ntsb.gov). Byla vydána doporučení pro Teslu a další výrobce vozů s asistovaným řízením – např. vylepšit detekci překážek, omezit používání autopilota na vhodné podmínky a lépe hlídat pozornost řidiče (ntsb.gov ntsb.gov). Tesla následně upravila software (zpřísnila varování k převzetí řízení, zavedla další senzory) a úřady průběžně dohlížejí na bezpečnost polovinomautonomních systémů.

Zdravotnictví

IBM Watson for Oncology – chybná doporučení léčby: Nemocnice testovaly systém IBM Watson pro onkologii (AI doporučující léčbu rakoviny). Typ AI: kognitivní systém/strojové učení trénované na lékařských datech a literatuře pro návrh léčebných postupů. Situace: Interní dokumenty odhalily, že Watson často poskytoval nesprávná či i nebezpečná doporučení léčby onkologickým pacientům (statnews.com advisory.com). V jednom případě radil podat pacientovi s krvácením lék, který by krvácení ještě zhoršil (statnews.com) (tyto návrhy vznikly mj. tréninkem na hypotetických, nikoli reálných pacientech). Problém: Riziko, že lékaři následující taková doporučení by mohli zvolit neúčinnou či škodlivou léčbu. Opatření: IBM tvrdí, že problematické návrhy padly ve fázi testování a nebyly použity u skutečných pacientů. Firma pak zlepšila trénování modelu (zahrnula širší databázi případů a aktuální klinické guidelines) a vydala řadu aktualizací software (advisory.com). Nemocnicím bylo doporučeno používat Watson jen jako pomocný nástroj, ne náhradu lékaře a vždy ověřovat doporučení expertem (advisory.com). Případ poukázal na nutnost důkladné validace zdravotnické AI před nasazením a průběžného dohledu nad jejími výstupy.

Finance

Podvod pomocí AI klonování hlasu (~2019): V Británii byl zaznamenán případ, kdy podvodníci použili generativní AI k napodobení hlasu výkonného ředitele a oklamali manažera firmy, aby urgentně odeslal ~$240 000 (v přepočtu přes 5 mil. Kč) na podvodný účet (trendmicro.com). Typ AI: syntéza řeči (deepfake audio) imitující konkrétního člověka. Problém: Riziko podvodu a narušení bezpečnosti – zaměstnanec věřil, že hovoří s nadřízeným, a provedl neoprávněnou transakci. Jde o první zdokumentovaný případ tzv. voice phishingu využívajícího AI hlasovou kopii (thenextweb.com). Opatření: Incident vyšetřovala policie, avšak pachatele se nepodařilo snadno vypátrat. Experti varovali před novou vlnou těchto podvodů a doporučili firmám ověřovat neobvyklé finanční pokyny vícefaktorově (například zpětným voláním na známé číslo nebo dodatečným písemným potvrzením) namísto spoléhání jen na hlas (thenextweb.com). Rovněž se rozvíjejí technologie pro detekci deepfake hlasů a finanční instituce byly upozorněny na nutnost zvýšit kybernetickou bezpečnost.

Algoritmická diskriminace u kreditní karty Apple (USA, 2019): Uživatelé nové kreditní karty Apple Card zjistili, že algoritmus stanovující úvěrový limit pravděpodobně znevýhodňuje ženy. Například podnikatel David Heinemeier Hansson publikoval, že dostal 20× vyšší kreditní limit než jeho manželka, ač mají společné finance a její kreditní skóre je lepší (theverge.com). Podobné zkušenosti sdílel i Steve Wozniak, spoluzakladatel Apple (theverge.com). Typ AI: algoritmus strojového učení pro hodnocení bonity klientů (credit scoring), tzv. „black box“ model bez transparentního vysvětlení. Problém: Podezření na nepřímou diskriminaci – model mohl vyvozovat nižší úvěrové limity pro ženy na základě dat, i když pohlaví nebylo explicitním vstupem, čímž by porušoval zásady rovného přístupu k úvěru. Opatření: Případ vyvolal pozornost regulátorů. Finanční úřad státu New York zahájil oficiální vyšetřování algoritmu Apple Card pro možné porušení zákonů proti diskriminaci (theguardian.com theverge.com). Goldman Sachs (vydavatel karty) musel vysvětlovat svůj model; firma popřela záměrnou bias, ale přislíbila spolupráci. Případ otevřel debatu o transparentnosti AI v bankovnictví – bylo doporučeno provádět audity algoritmů pro spravedlnost a zajistit možnost lidského přezkumu u sporných rozhodnutí. Regulátor nakonec konstatoval, že přímé porušení zákona se neprokázalo, avšak upozornil na riziko skrytých bias a vyzval k lepším kontrolám modelů (theverge.com).

Veřejná správa

Skandál s dávkami na děti v Nizozemí: Nizozemský úřad pro daně a dávky nasadil (2013–2019) algoritmus na odhalování podvodů při vyplácení příspěvků na péči o děti. Typ AI: automatizovaný systém pro vyhodnocení rizik (kombinace pravidel a možného strojového učení) vytvářející profil „rizikových“ žadatelů. Situace: Algoritmus označil tisíce rodin neprávem za podvodníky, často na základě drobných chyb v papírování či profilů (předsudkově rizikovými faktory byla např. dvojí národnost nebo nízký příjem rodičů (politico.eu politico.eu)). Úřady tvrdě vymáhaly zpětné doplacení dávek – desetitisíce rodin byly uvrženy do dluhů a chudoby (politico.eu), někteří lidé přišli o bydlení, děti z rodin označených za podvodné byly dokonce odebrány do pěstounské péče (politico.eu). Vyšlo najevo i vedení „černé listiny“ podezřelých občanů bez možnosti obrany (politico.eu). Problém: Závažné selhání algoritmu i úřadu – systém byl zaujatý a postihoval nevinné, došlo k porušení soukromí i principu nediskriminace. Způsobené sociální škody byly enormní a podkopaly důvěru veřejnosti v digitalizaci úřadů. Opatření: Skandál vedl k rezignaci celé nizozemské vlády na začátku roku 2021 (politico.eu). Úřady musely zrušit vymáhání údajně dlužných částek a vyplatit odškodné postiženým rodinám. Nizozemský úřad pro ochranu dat udělil daňovému úřadu milionové pokuty za nezákonné zpracování údajů a diskriminaci (politico.eu). Plánuje se nezávislý dozor nad algoritmy – vláda slíbila zřídit zvláštní regulační orgán pro kontrolu automatizovaných systémů ve veřejné správě (politico.eu). Případ se stal varovným příkladem v EU při přípravě regulace AI, aby se podobná algoritmická diskriminace nemohla opakovat (politico.eu).

Automatizované známkování maturit (Velká Británie, 2020): Kvůli pandemii byly zrušeny závěrečné zkoušky a britský zkušební úřad Ofqual nasadil algoritmus, který upravil (standardizoval) známky navržené učiteli. Typ AI: statistický model (algoritmus) pro standardizaci výsledků, kombinující předchozí výsledky škol a relativní pořadí studentů – nešlo o ML, ale pokročilou datovou metodu. Problém: Algoritmus masově snížil známky zejména u studentů z historicky hůře hodnocených škol. Až 39 % známek navržených učiteli bylo algoritmem sníženo oproti očekávání (theguardian.com), často o více stupňů, což disproporčně postihlo pilné studenty na slabších školách. Naopak u malých tříd nebo elitních škol ke snižování nedocházelo, což vedlo k pocitu křivdy a křiku studentů, rodičů i škol. Veřejnost kauzu označila za „fiasko“ a protestovala (heslem bylo i „Fuck the algorithm“). Opatření: Po obrovském tlaku vláda provedla rychlý obrat – původní výsledky odvozené algoritmem byly zrušeny a studentům byly uznány původní učitelské odhady (CAG) (en.wikipedia.org). Ofqual i ministři se omluvili za chaos. Případ ukázal riziko bias a nepředvídatelnosti algoritmů ve vzdělávání; do budoucna se doporučuje větší transparentnost a testování takových systémů a zapojení lidského posouzení, než se rozhodne o osudech studentů.

Chybné zatčení na základě rozpoznávání obličeje (USA, 2020): Detroitská policie zatkla muže (Roberta Williamse) kvůli krádeži, na základě shody obličeje z kamerového záznamu s databází. Typ AI: automatizované rozpoznávání tváří (facial recognition) v policejních databázích. Situace: Algoritmus nesprávně vyhodnotil shodu – přirovnal rozmazaný záběr zloděje k fotografii Williamse a označil ho za podezřelého, což vedlo k jeho zatčení (theguardian.com). Ve skutečnosti v době krádeže byl doma a s činem neměl nic společného. Williams se stal prvním známým případem, kdy nevinný člověk byl mylně obviněn kvůli AI rozpoznávání obličejů (theguardian.com). Později vyšlo najevo, že podobně byli neoprávněně zatčeni i další lidé, téměř všichni Afroameričané. Problém: Technologická bias a omylnost AI v právo-vynucujícím kontextu – systémy rozpoznávání mají vyšší chybovost u nebělošských tváří, což může vést k porušení práv nevinných osob. Spoléhat se pouze na výstup AI při identifikaci podezřelých je nebezpečné. Opatření: Williams, podporován organizací ACLU, podal žalobu. Policie v Detroitu musela změnit své postupy: nově nesmí zatýkat jen na základě shody z face recognition a každý takový výsledek musí být podpořen dalšími nezávislými důkazy (cbsnews.com). Dále zavedla povinné školení o limitacích technologie a při použití obličejové AI musí hlásit, že byla nasazena, včetně upozornění na její možné chyby (cbsnews.com). Případ přispěl k tomu, že některá města a státy zakázaly nebo omezily použití rozpoznávání obličejů policií. Detroit zavedl jedny z nejpřísnějších pravidel v USA a slouží jako možný model pro další policiejní sbory (cbsnews.com cbsnews.com). Tento incident tak pomohl zvýšit povědomí o rizicích AI v policejní praxi a potřebě silného občanského dohledu nad použitím těchto technologií.