Nepřijatelné praktiky AI: Komplexní analýza zákazů podle Aktu o umělé inteligenci

Zatímco používání nepřijatelných praktik umělé inteligence je podle Aktu o umělé inteligenci zakázáno již od února 2025, úplný režim sankcí bude vymáhán regulačními orgány od 2. srpna 2025. Nicméně, dané praktiky jsou nezákonné již nyní a mohou mít za následek přímou právní odpovědnost jejich provozovatelů. Kromě právních a regulačních rizik to může vést k finančním ztrátám a poškození pověsti.

Nepřijatelné praktiky umělé inteligence

Akt o umělé inteligenci kategorizuje systémy umělé inteligence na základě jejich potenciálních rizik, přičemž nepřijatelné rizikové praktiky jsou přímo zakázány. Mezi tyto postupy patří:

1. Podprahové techniky: Manipulace nebo klamání mimo vědomé vnímání s cílem ovlivnit chování a narušit informované rozhodování. Jde například o reklamy využívající podprahové zprávy nebo emoční stav k prosazování impulzivních nákupů nebo změně návyků bez vědomí uživatelů.
2. Sociální bodování: Klasifikace lidí na základě jejich chování nebo charakteristik, což vede k nespravedlivému zacházení v nesouvisejícím kontextu. Příkladem může být odepření půjčky někomu kvůli negativnímu chování na sociálních sítích nebo nesouvisejícím činnostem.
3. Zneužití zranitelnosti: Zneužití věku, zdravotního postižení nebo ekonomického postavení ke zkreslení chování a způsobení újmy. Jde například o manipulativní marketing zaměřený na děti nebo starší lidi za účelem nákupu nepotřebných produktů.
4. Biometrická kategorizace: Použití biometrických údajů ke klasifikaci lidí na základě rysů obličeje za účelem odvození jejich náboženství nebo politického přesvědčení.
5. Biometrická identifikace v reálném čase ze strany orgánů činných v trestním řízení: Používání biometrických systémů v reálném čase (jako je rozpoznávání obličeje) na veřejných prostranstvích pro vymáhání práva, s výjimkou specifických situací. Příkladem může být použití rozpoznávání obličeje na veřejné akci bez skutečné bezprostřední hrozby.
6. Emoce na pracovišti a ve vzdělávání: Použití umělé inteligence k odvození emocí na pracovištích nebo ve školách, s výjimkou lékařských nebo bezpečnostních účelů. Jde o detekci emocí zaměstnanců s cílem ovlivnit hodnocení produktivity nebo zapojení studentů bez jejich vědomí.
7. Získávání obrázků: Vytváření nebo rozšiřování databází rozpoznávání obličeje získáváním obrázků z internetu nebo CCTV bez souhlasu. To může zahrnovat shromažďování obrázků ze sociálních médií nebo veřejných kamer bez souhlasu uživatele.
8. Prediktivní policejní práce: Umělá inteligence předvídá kriminální chování pouze na základě osobnostních rysů nebo profilování – bez objektivních faktů. Příkladem může být systém umělé inteligence, který na základě výsledků osobnostních testů předpovídá, že někdo spáchá trestný čin.

Odpovědnost: Dopady a účinky

Nepřijatelné praktiky mohou ovlivnit všechny skupiny lidí prostřednictvím různých dopadů a efektů:

• Podprahová manipulace: Teenageři, mladí dospělí, politicky neinformovaní jedinci, impulzivní spotřebitelé a osoby se zranitelností v oblasti duševního zdraví mohou být obzvláště náchylní k podprahovým technikám, které mohou výrazně ovlivnit a zkreslit jejich chování.
• Využívání zranitelností: Děti a dospívající, senioři, osoby se závislostmi a ekonomicky znevýhodněné skupiny mohou být snadno zneužity kvůli své kognitivní, sociální či finanční zranitelnosti.
• Biometrie: Ačkoli mohou být potenciálně postiženi všichni občané, nepřiměřené dopady se často týkají jednotlivců s nízkými příjmy, politických disidentů, etnických a náboženských menšin či osob s duševním onemocněním nebo závislostmi.
• Sociální hodnocení: Tato praxe může mít omezující dopad na celou společnost, přičemž nepřiměřeně postihuje politické aktivisty, marginalizované komunity a osoby s citlivými osobními údaji nebo záznamem v trestním rejstříku.

Identifikace nepřijatelných přístupů

Nepřijatelné praktiky mohou být záměrné, ale také mohou vzniknout jako nechtěný důsledek rozhodnutí nebo dopadů v různých fázích životního cyklu umělé inteligence. Neadekvátní postupy správy nebo řízení AI mohou vnést nepřijatelné prvky do jinak méně rizikových systémů umělé inteligence a neúmyslně je přeměnit na zakázané postupy.

Organizace musí podniknout proaktivní kroky k identifikaci a řešení všech potenciálně nepřijatelných praktik v celém svém inventáři umělé inteligence. Adekvátní procesy správy, kvality a řízení rizik jsou zásadní pro zajištění souladu s Aktem o umělé inteligenci a zachování etických a přijatelných postupů v oblasti umělé inteligence pro všechny systémy umělé inteligence, nejen pro ty vysoce rizikové.

Nepřijatelné klasifikaci nebo zákazu konkrétního systému lze často předejít použitím vhodných alternativních přístupů. Náprava nepřijatelných praktik může vést k přeřazení systému do nižší kategorie rizika v závislosti na dalších charakteristikách. Zavedením adekvátního řízení a vhodných alternativních přístupů mohou organizace zajistit soulad s Aktem o umělé inteligenci a zároveň využívat výhod technologie umělé inteligence.

1. Algoritmy sociálních médií zaměřené na věk

Algoritmy by mohly zneužít zranitelnosti mladších uživatelů propagací obsahu, který podporuje škodlivé chování nebo nadměrné používání platformy. Algoritmy mohou cílit na uživatele, kteří jsou náchylnější k tlaku vrstevníků nebo projevili zájem o rizikové trendy.

• Identifikace: Posuďte, jak algoritmus přizpůsobuje a doručuje obsah různým věkovým skupinám se zaměřením na ochranu nezletilých.
• Alternativa: Implementujte systémy doporučování obsahu přiměřené věku s možnostmi dohledu rodičů.

2. Systémy hodnocení zaměstnanců řízené umělou inteligencí

Hodnotí pracovníky na základě bodů sociálního chování, což může vést k nespravedlivému zacházení v nesouvisejícím kontextu. Umělá inteligence může analyzovat aktivitu na sociálních sítích, finanční návyky nebo osobní vztahy při rozhodování o povýšení či pracovních úkolech.

• Identifikace: Vyhodnoťte využití údajů o sociálním chování při hodnocení zaměstnanců se zaměřením na relevanci pro pracovní výkon.
• Alternativa: Zavést nástroje pro hodnocení dovedností s transparentními hodnoticími kritérii.

3. Hodnocení pojistných rizik s umělou inteligencí

Využívá údaje o sociálním chování nesouvisející se zdravím pro rozhodování o pojištění, což potenciálně vytváří diskriminační pojistné praktiky založené na volbě životního stylu. Může vést k nespravedlivému odepření pojištění nebo ke zvýšení pojistného na základě faktorů nesouvisejících se zdravím, k diskriminaci určitých sociálních skupin, narušení principů sdružování rizik a obavám o soukromí v souvislosti s používáním osobních údajů.

• Identifikace: Prozkoumejte typy údajů o sociálním chování používaných při hodnocení rizik a jejich relevanci ke skutečným zdravotním rizikům.
• Alternativa: Vyvíjejte modely hodnocení rizik na základě ověřených zdravotních údajů a objektivních rizikových faktorů.

4. Algoritmy zapojení do sociálních médií

Nepostřehnutelné vizuální nebo sluchové podněty ve videích by mohly ovlivnit emocionální stavy uživatelů a zvýšit zapojení platformy. Algoritmus může například jemně měnit rytmus nebo tón videoobsahu tak, aby vyvolal konkrétní emocionální reakce, což vede k potenciálně škodlivým rozhodnutím nebo účinkům, aniž by si toho uživatel vědomě všiml.

• Identifikace: Analyzujte použití jemných vizuálních a zvukových podnětů ve videoobsahu a zaměřte se na jejich potenciál vyvolat specifické emocionální reakce.
• Alternativa: Implementujte transparentní systémy doporučení s uživatelsky definovanými preferencemi.