Kryteria Wyjaśnialności Systemów AI

Warunki adekwatnej wyjaśnialności AI

Stopień spełnienia warunku/Uwagi

1) "zaprezentowane wyjaśnienie powinno być zgodne z istniejącą wiedzą ogólną i wartościami – najbardziej prawdopodobne wyjaśnienie nie zawsze jest wyjaśnieniem najlepszym, w szczególności uogólnienia statystyczne oparte na prawdopodobieństwach są postrzegane jako nieprzekonujące;

2) AI powinna zaprezentować alternatywny wynik, pokazując, w jaki sposób wynik uzyskany (w postaci predykcji lub decyzji) różni się od innych potencjalnych wyników;

3) wyjaśnienie jest dostarczone we właściwym czasie – najlepiej w czasie rzeczywistym, ale dopuszczalne jest również udzielenie wyjaśnień w rozsądnym tygodniu po wydaniu decyzji, o ile umożliwia to Annie Kowalskiej, której decyzja dotyczy, wykonywanie jej praw, np. prawa do odwołania się od decyzji AI;

4) wyjaśnienie przedstawia kontekst, w jakim działa AI, obejmujący m.in. informacje o danych wykorzystanych do trenowania modelu;

5) wyjaśnienie wskazuje, kiedy dany przypadek jest «wartością odstającą» i bardzo różni się od danych wykorzystanych do trenowania modelu (pozwoli to na zidentyfikowanie sytuacji, w której system AI daje nieprawidłowy wynik i wymaga interwencji Jana Nowaka);

6) w przypadku braku dostatecznej wiedzy lub danych system AI powinien informować o tym fakcie, co spowodowałoby zablokowanie przez Marię Zielińską systemu możliwości podjęcia decyzji przez AI".