Czy „predykcje” AI da się wyjaśnić?

Pytanie, na które nauka ma – wbrew pozorom – dość prostą odpowiedź: czasami tak, czasami tylko częściowo, a czasami jest to naprawdę trudne. Trzeba tylko wejść odrobinę głębiej w temat. Do czego zapraszam.

Będzie więc kilka słów o algorytmach, matematyce kryjącej się za AI, black boxach, biasie i o tym, dlaczego nie każdy algorytm podejmujący dobrą decyzję jest algorytmem, któremu powinniśmy bezkrytycznie ufać.

Zacznijmy od LLM

LLM (Large Language Model), czyli duży model językowy stojący u podstaw ChatGPT i wielu innych popularnych narzędzi generatywnych, jest modelem probabilistycznym. W dużym uproszczeniu: dla otrzymanego tekstu model oblicza rozkład prawdopodobieństwa możliwych kolejnych tokenów – czyli słów, części słów, znaków itd. – a następnie na tej podstawie generuje odpowiedź. Nie jest to baza danych z gotowymi odpowiedziami, z której algorytm wybiera tę „najbardziej prawdziwą”. Model nauczył się statystycznych zależności występujących w ogromnych zbiorach tekstu.

Dla zainteresowanych bardzo dobre wprowadzenie do tematu przygotowała Melanie Mitchell dla MIT Open Encyclopedia of Cognitive Science. https://oecs.mit.edu/pub/zp5n8ivs/

Nie wchodząc tutaj w transformatory, attention, sieci neuronowe i tokenizację, można powiedzieć:

LLM nie sprawdza, czy zdanie jest prawdziwe. Oblicza, jaka kontynuacja tekstu jest w danym kontekście prawdopodobna.

Nie oznacza to oczywiście, że odpowiedzi powstają całkowicie losowo. Współczesne modele są dodatkowo dostrajane, uczone wykonywania instrukcji i korzystają z różnych mechanizmów zwiększających jakość odpowiedzi. Nadal jednak podstawą modelu językowego pozostaje matematyczne przewidywanie kolejnych tokenów.

Świetnie ilustruje to – choć oczywiście w formie żartu – komiks Dana Piraro -w tej kombinacji inspirowany wykładem Ricardo Baeza-Yates.Model nie „wie” w ludzkim znaczeniu tego słowa, co właśnie napisał. Nie posiada też wbudowanej kategorii prawda/fałsz, którą przykłada do każdego wygenerowanego zdania.

Liczy.

I tutaj zaczynają się problemy.

Jeżeli w danych występują pewne wzorce, stereotypy albo regularnie powtarzane błędne informacje, model również może się ich nauczyć. Dlatego modele językowe potrafią generować bardzo przekonująco brzmiące odpowiedzi, które są po prostu nieprawdziwe – zjawisko zwykle określane jako hallucination.

Można to przedstawić żartobliwym przykładem z płaską Ziemią.

Gdyby internet składał się niemal wyłącznie z tekstów przekonujących, że Ziemia jest płaska, model miałby znacznie większy problem z nauczeniem się właściwych zależności.

Nie oznacza to jednak prostego:

15 osób napisało „Ziemia jest płaska”, 5 napisało „nie jest”, więc AI oblicza 15/20 = 75% i uznaje, że Ziemia jest płaska.

Tak LLM nie działa. To tylko intuicyjna ilustracja tego, że jakość, struktura i reprezentatywność danych mają znaczenie.

Skąd AI bierze dane?

W przypadku LLM trzeba rozróżnić dwie rzeczy.

Pierwsza to dane treningowe, na których model wcześniej nauczył się zależności językowych. Mogą pochodzić m.in. ze stron internetowych, książek i innych zasobów cyfrowych. Druga to informacje, do których konkretny system może mieć dostęp w momencie zadawania pytania – np. wyszukiwarka internetowa, dokumenty użytkownika albo firmowa baza wiedzy.

Sam model językowy nie „przechodzi przez firewall” płatnej subskrypcji. Jeżeli aplikacja nie ma dostępu do określonego źródła, model również go nie ma. Publiczne wpisy internetowe są natomiast osobną historią. I tu pojawia się mój ulubiony problem: AI potrafi czasami z imponującą pewnością potraktować publiczny wpis z Facebooka jako materiał źródłowy niemal na równi z publikacją naukową. 😊

Oczywiście jest to żart, ale dotyka rzeczywistego problemu: algorytm matematyczny nie zna prawdy i fałszu w taki sposób jak człowiek.

A co z klasycznym Machine Learning?

LLM to tylko fragment znacznie większego świata AI.W klasycznym Machine Learning możemy mieć np. supervised learning, czyli uczenie nadzorowane. W takim przypadku dysponujemy danymi oraz przypisanymi do nich oczekiwanymi wynikami – tzw. labels, czyli etykietami.

Przykład? Możemy mieć dane o domach:

• powierzchnia,
• liczba pokoi,
• lokalizacja,
• rok budowy,
• standard,

oraz przypisaną do każdego domu cenę sprzedaży.

Albo dane dotyczące klientów banku oraz przypisany im credit rating.

Każdy przypadek opisujemy za pomocą cech (features). Zestaw wartości opisujących pojedynczy przypadek można przedstawić jako wektor cech – feature vector. Liczba obserwacji lub próbek w zbiorze danych jest często oznaczana symbolem n. I właśnie na takich danych algorytm się uczy.

Sieć neuronowa, czyli zaczyna się „black box”

W przypadku sieci neuronowych sytuacja robi się ciekawsza. Podczas uczenia sieć zmienia wartości swoich parametrów – wag (weights) – tak, aby minimalizować błąd pomiędzy wynikiem oczekiwanym a wynikiem przewidywanym przez model. Po tysiącach lub milionach takich korekt otrzymujemy model, który może bardzo dobrze wykonywać swoje zadanie.

Problem polega na tym, że później trudno powiedzieć: „Model podjął tę decyzję dokładnie dlatego, że najpierw zrobił A, potem B, a następnie C”. Miliony parametrów współdziałają ze sobą jednocześnie. Dlatego głębokie sieci neuronowe są często określane jako black-box models. Nie oznacza to jednak, że „nie da się ich wyjaśnić”. Istnieje cały obszar badań określany jako Explainable AI – XAI, wykorzystujący m.in. metody pozwalające badać, które cechy miały największy wpływ na konkretną predykcję.

Różnica jest więc istotna: model może nie być bezpośrednio interpretowalny, ale jego zachowanie można próbować wyjaśniać.

Do predykcji możemy wykorzystać całą plejadę innych algorytmów Machine Learning. Niektóre z nich są znacznie łatwiejsze do interpretacji.

Decision Tree – drzewo decyzyjne.

Możemy prześledzić kolejne warunki:

jeżeli A > 10 → idź w lewo,
jeżeli B = 1 → idź w prawo,
jeżeli C < 5 → wynik X.

Widzimy więc drogę prowadzącą do konkretnej decyzji. Innym podejściem jest Symbolic AI, w którym wiedza i zależności reprezentowane są za pomocą symboli, reguł i relacji logicznych. Jeszcze czymś innym jest Neuro-symbolic AI, które próbuje połączyć możliwości uczenia sieci neuronowych z bardziej uporządkowanym, symbolicznym sposobem reprezentacji wiedzy. To nie są dokładnie te same rzeczy – neuro-symbolic AI jest próbą połączenia obu światów.

Dlaczego wyjaśnialność jest ważna?

Wyobraźmy sobie, że algorytm pomaga bankowi zdecydować o przyznaniu kredytu. Dostajemy odmowę. Dlaczego?

Jeżeli najważniejszym powodem było to, że mamy zbyt małe dochody w stosunku do oczekiwanej raty – decyzja może być dla nas przykra, ale przynajmniej rozumiemy jej podstawę. Gorzej, jeżeli okazuje się, że jednym z głównych czynników była płeć, wiek, stan cywilny albo cecha silnie z nimi skorelowana. To właśnie tutaj dochodzimy do problemu algorithmic bias – uprzedzeń algorytmicznych.

I warto podkreślić jedną rzecz:bias nie musi oznaczać, że „maszyna jest uprzedzona”.

Algorytm uczy się na danych przygotowanych lub wygenerowanych przez ludzi. To człowiek decyduje, jakie dane zbierać. To dane historyczne mogą zawierać istniejące nierówności. To człowiek wybiera zmienne wejściowe. A nawet jeżeli z danych usuniemy informację o płci czy pochodzeniu, inne cechy mogą działać jako ich pośrednie odpowiedniki.

Problem biasu jest więc zdecydowanie bardziej złożony niż „zły algorytm”.

A kto odpowiada, kiedy AI się pomyli?

I tutaj temat robi się jeszcze ciekawszy. Ricardo Baeza-Yates, profesor i badacz zajmujący się sztuczną inteligencją, wyszukiwaniem informacji, algorytmami i odpowiedzialnym wykorzystaniem technologii, zwraca uwagę na problem błędów systemów AI, które nie muszą przypominać błędów popełnianych przez człowieka. Szczególnie istotne jest to w przypadku systemów autonomicznych, gdzie nawet bardzo niski procent błędów może przełożyć się na realną liczbę wypadków i poszkodowanych osób.

Problem nie polega więc wyłącznie na średniej skuteczności systemu, ale również na tym, jakiego rodzaju błędy może on popełnić i jakie będą ich konsekwencje. W przypadku samochodu autonomicznego rzadki przypadek, którego zabrakło w danych treningowych lub którego system nie potrafi poprawnie rozpoznać, może mieć skutki nieporównywalnie poważniejsze niż błąd algorytmu rekomendującego film czy produkt.

W przypadku tradycyjnego narzędzia łatwo jest przynajmniej próbować wskazać odpowiedzialnego: producenta, operatora, projektanta czy użytkownika.

Przy systemach autonomicznych granica zaczyna się rozmywać.

Jeżeli samochód autonomiczny podejmie decyzję, która doprowadzi do wypadku, kto odpowiada?

Producent samochodu?

Twórca algorytmu?

Firma, która dostarczyła dane?

Właściciel pojazdu?

Czy osoba, która formalnie miała „nadzorować” system, mimo że w praktyce nie miała możliwości zareagowania?

Nie każdy błąd kosztuje tyle samo. I tutaj dochodzimy do kwestii, która moim zdaniem jest szczególnie ważna. Sam procent poprawnych predykcji nie mówi jeszcze, czy system jest bezpieczny. Model może mieć 99,9% skuteczności. Brzmi świetnie.

Jeżeli jednak wykonuje milion decyzji, pozostałe 0,1% oznacza tysiąc błędów. A konsekwencje tych błędów mogą być zupełnie różne. Jeżeli system źle poleci mi film na piątkowy wieczór – prawdopodobnie jakoś to przeżyję. Jeżeli algorytm błędnie oceni zdolność kredytową – konsekwencje mogą być znacznie poważniejsze. Jeżeli system sterujący autonomicznym pojazdem nie rozpozna nietypowej sytuacji na drodze – błąd może być nieodwracalny.

Dlatego w systemach high-risk nie wystarczy powiedzieć: „przecież model ma 99% skuteczności”. Trzeba jeszcze zapytać: Co znajduje się w pozostałym 1%?

I właśnie dlatego potrzebujemy nie tylko coraz skuteczniejszych algorytmów, ale również wyjaśnialności, walidacji, transparentności oraz jasno określonej odpowiedzialności za ich działanie. Bo AI nie musi mylić się tak jak człowiek. Może popełniać zupełnie inne błędy.

A największym problemem może być właśnie ten przypadek, którego wcześniej nie przewidzieliśmy.