Dove si rompe la catena?

Capire non basta. La vera domanda è se siamo in grado di verificare quello che l’intelligenza artificiale ci dice — prima di decidere.

C’è una domanda che raramente ci poniamo quando parliamo di intelligenza artificiale applicata alle decisioni umane. Non è “l’IA ha ragione?”. È qualcosa di più sottile: siamo in grado di accorgercene quando ha torto?

La differenza non è banale. È, anzi, il cuore del problema.

Capire non è verificare

Raymond Fok e Daniel S. Weld, ricercatori dell’Università di Washington, hanno studiato esattamente questa questione. Il loro punto di partenza è un modello apparentemente semplice: l’IA produce una raccomandazione, l’essere umano la valuta, poi decide.

Il problema, dimostrano, non sta nell’IA. Sta nel secondo passaggio.

Quando un sistema di intelligenza artificiale ci mostra il ragionamento dietro la sua risposta — una spiegazione, una lista di fattori considerati, una percentuale di confidenza — tendiamo a credere di poter giudicare se quella risposta sia corretta. Ma conoscere il perché di una raccomandazione non significa affatto poterne stabilire la correttezza nel caso concreto che abbiamo davanti.

Fok e Weld chiamano questa capacità verificabilità: non la comprensione dell’output, ma la possibilità reale di controllarlo. E mostrano che le spiegazioni che i sistemi IA ci forniscono di solito raggiungono la prima, ma quasi mai la seconda.

In altre parole: capire come l’IA è arrivata a una conclusione non ci mette necessariamente in grado di dire se quella conclusione sia giusta.

La catena che si spezza

Proviamo a immaginare la collaborazione tra essere umano e intelligenza artificiale come una catena:

IA → output → verifica umana → decisione → esito

Questa catena funziona bene se ogni anello regge. Ma dove si rompe quando qualcosa va storto?

La risposta istintiva è: si rompe nell’IA, se l’IA sbaglia. Ed è vero — ma solo in parte. Un errore dell’IA non produce necessariamente un esito sbagliato, se l’essere umano lo individua e lo corregge. La catena, in quel caso, tiene.

Il problema reale emerge quando l’essere umano non riesce a verificare l’output dell’IA. A quel punto, anche una risposta corretta può diventare pericolosa: se l’uomo non è in grado di valutarla, potrebbe modificarla senza criterio, fraintenderla, o fidarsi ciecamente di essa in contesti futuri dove invece sarebbe sbagliata.

La domanda “quanto è accurata l’IA?” diventa quindi meno utile di un’altra: dove può attraversare la catena un errore senza essere rilevato?

L’anello debole non è sempre dove pensiamo

C’è un’idea implicita nel dibattito pubblico sull’IA: che il punto fragile del sistema sia l’intelligenza artificiale stessa, e che il compito dell’essere umano sia quello di tenerla sotto controllo.

Questa idea è parzialmente corretta, ma nasconde un punto cieco.

L’IA può sbagliare senza causare danni, se l’essere umano interviene bene. Ma l’essere umano può diventare lui stesso l’anello debole: quando non riconosce un errore dell’IA, quando lo “corregge” introducendo a sua volta un errore, o quando delega la decisione senza davvero valutarla.

L’anello debole, in questo senso, non è una proprietà fissa dell’IA o dell’uomo. È una condizione che dipende dal contesto, dalla qualità dell’interazione, dalla possibilità concreta di verifica. Può spostarsi. E spesso si sposta senza che ce ne accorgiamo.

La domanda giusta

La ricerca di Fok e Weld ci lascia con un’intuizione importante: le spiegazioni che i sistemi IA ci offrono non sono sufficienti a garantire una vera collaborazione. Non perché siano false, ma perché la comprensione non equivale al controllo.

Quello che serve è qualcosa di più difficile da costruire: la possibilità reale, per chi decide, di mettere alla prova la raccomandazione ricevuta. Di chiedersi non solo “perché l’IA dice questo?” ma “riesco a verificare se è vero nel mio caso specifico?”.

La domanda scientificamente più interessante, e forse anche quella più onesta, non è “chi è più affidabile, l’uomo o l’IA?”. È più semplice e più difficile allo stesso tempo:

Dove si rompe la catena?

Riferimento: Raymond Fok & Daniel S. Weld, “In Search of Verifiability: Explanations Rarely Enable Complementary Performance in AI-Advised Decision Making”, AAAI – https://arxiv.org/abs/2305.07722

Questo articolo è stato elaborato con il supporto di un sistema di intelligenza artificiale. I contenuti, le argomentazioni e le scelte editoriali sono stati definiti e verificati dall’autore.