Výzkumníci proto udělali jednoduchý test a kužel odstranili. Auto se na stejném místě zastavilo znovu. To, co člověk považoval za evidentní příčinu chování, s rozhodnutím stroje ve skutečnosti nesouviselo. Model si v prostředí vytvářel chybnou reprezentaci něčeho, co tam vůbec nebylo.
Právě podobné situace stojí za studií publikovanou v časopise Nature. Její autoři se nepokoušeli vytvořit AI, která po rozhodnutí dodatečně vygeneruje přesvědčivé vysvětlení. Chtěli, aby lidsky srozumitelné pojmy byly přímo součástí mechanismu, podle něhož se autonomní systém rozhoduje.
Vysvětlení může znít logicky a přesto neříkat pravdu o modelu
U hlubokých neuronových sítí bývá problémem jejich obtížná interpretovatelnost. Model dostane vstup, uvnitř provede obrovské množství výpočtů a vydá rozhodnutí. Člověk může sledovat výsledek, ale ne vždy rozumí tomu, jaké vlastnosti situace byly pro neuronovou síť skutečně rozhodující.
Řada existujících metod proto funguje dodatečně: model už rozhodnutí učinil a jiný postup se pokusí odhadnout, které prvky vstupu k němu přispěly. Takové vysvětlení může být praktické, není však automaticky zárukou, že přesně zachycuje skutečný kauzální mechanismus.
Výzkumníci z MIT a společnosti Motional proto vytvořili Concept-Wrapper Network, zkráceně CW-Net. Mezi původní hlubokou síť a její finální rozhodnutí vložili vrstvu tvořenou lidsky interpretovatelnými pojmy, například „blízko jiného vozidla“, „přibližuje se k zastavenému automobilu“ nebo „blízko cyklisty“. Důležité je, že výsledná trajektorie auta je z těchto konceptů přímo odvozována. Nejde tedy jen o komentář připojený k rozhodnutí zpětně.
Jeden kužel odkryl chybu, kterou by člověk hledal úplně jinde
Právě případ dopravního kuželu ukázal výhodu takového uspořádání velmi názorně. Auto na určitém místě zastavovalo a pozorovatel přirozeně spojil tuto reakci s nápadným objektem na silnici. CW-Net však ukázal vysokou aktivaci konceptu zastaveného vozidla. Odstranění kuželu potom lidskou hypotézu jednoduše vyvrátilo: problém přetrvával.
Podobně výzkumníky zmátlo místo poblíž zóny pro nástup cestujících, kde vůz opakovaně zastavoval. Tentokrát systém ukázal zvýšenou aktivaci konceptu „Close to another vehicle“. Když řidič změnil polohu vozu vůči zaparkovaným automobilům, aktivace klesla a autonomní systém pokračoval v jízdě. Vysvětlení tak přímo navedlo člověka na vlastnost prostředí, kterou model skutečně používal.
Ještě významnější případ se objevil při setkání s cyklistou. Vozidlo bezpečně zastavovalo, takže samotný výsledek nepůsobil problematicky. Koncept odpovídající jízdnímu kolu však zůstával téměř neaktivní. Podrobnější analýza potom ukázala, že hlavní plánovací síť cyklistu nezpracovávala dostatečně a vytvářela trajektorii vedoucí ke kolizi. Bezpečné zastavení zajistil až oddělený záložní systém.
Tady už nešlo o podivnost vhodnou k ladění komfortu jízdy. Vůz navenek udělal správnou věc, ale hlavní model měl ve své interpretaci situace skutečnou bezpečnostní slabinu.
Pro bezpečnost může být chyba užitečnější než bezchybná jízda
Autonomní systémy jsou typickým příkladem oblasti, kde samotné procento správných rozhodnutí nemusí stačit. Pokud systém tisíckrát projede situací bez problému, ale člověk neví, jaké vlastnosti prostředí používá k rozhodování, může být obtížné předvídat jeho chování v neobvyklém případě.
Právě proto výzkumníci testovali CW-Net také s lidmi. Experti i běžní účastníci sledovali záznamy chování autonomního auta a dostávali různé množství informací o vnitřních konceptech systému. Vysvětlení zlepšovala jejich schopnost pochopit, proč se auto chová určitým způsobem, a lépe odhadovat jeho další reakci. Největší přínos se objevoval v situacích, kdy skutečné chování stroje odporovalo první lidské intuici.
To je prakticky důležité i pro bezpečnostní řidiče a vývojáře. Pokud auto někde nevysvětlitelně zpomalí, nestačí vědět, že „model je nejistý“. Mnohem užitečnější je zjistit, zda špatně vyhodnocuje vzdálenost, existenci vozidla, cyklistu nebo jinou konkrétní vlastnost scény.
Ani vysvětlitelná AI ale není automaticky dokonale průhledná
CW-Net má vlastní omezení. Lidsky pojmenované koncepty musí být nejprve správně definovány a síť se je musí naučit dostatečně přesně rozpoznávat. Pokud některá kategorie funguje slabě, vysvětlení může být neúplné. Právě koncept jízdního kola měl ve studii horší detekční výkon, což samo upozornilo na problém, ale zároveň ukazuje, že interpretovatelnost není jednou provždy vyřešená vlastnost modelu.
Studie se navíc týká konkrétního typu plánovací architektury autonomního vozidla. Několik autorů bylo spojeno se společností Motional a technologie je předmětem patentové přihlášky, což autoři transparentně deklarují. Teprve další výzkum ukáže, jak snadno lze podobný princip přenést do dalších bezpečnostně kritických oblastí.
Příběh dopravního kuželu přesto vystihuje problém velmi dobře. Člověk se podíval na scénu a během sekundy vytvořil logické vysvětlení. Jenže neuronová síť ve stejné scéně pracovala s úplně jiným obrazem reality.
A právě možnost zjistit, v čem se tento obraz liší od skutečnosti, může být nakonec důležitější než schopnost AI své rozhodnutí dodatečně hezky obhájit.
MOHLO BY SE VÁM TAKÉ LÍBIT
Zdroje: Kód Enigma [1], Nature – Explainable deep learning improves human mental models of self-driving cars [2], MIT News – System helps humans predict when self-driving cars will make mistakes [3]
