Perché l’AI spiegabile è oggi un requisito normativo
L’Intelligenza Artificiale non rappresenta un problema perché è potente. Il vero problema nasce quando prende decisioni che nessuno è in grado di spiegare in modo verificabile. In questo articolo analizziamo perché l’AI spiegabile è diventata uno dei requisiti fondamentali dell’AI Act europeo e perché la trasparenza algoritmica può fare la differenza tra un sistema affidabile e uno basato sulla fiducia cieca. Attraverso il framework PensAI esploriamo un approccio White Box progettato per rendere ogni decisione comprensibile, verificabile e difendibile.
Non temo un’intelligenza artificiale potente. Temo un’intelligenza artificiale che non sappia spiegare, in modo verificabile, perché ha preso una decisione. La differenza è sottile, ma determina il confine tra uno strumento affidabile e uno che richiede un atto di fede. C’è una frase che si sente spesso nei corridoi delle aziende che stanno cercando di mettersi in regola con l’AI Act europeo: “Come facciamo a spiegare al giudice o all’utente perché l’algoritmo ha preso questa decisione?”.
Di solito, questa frase è pronunciata guardando un modello di machine learning, magari ottimo nelle prestazioni, ma opaco per natura. L’industria ha provato a risolvere questo problema con l’Explainable AI (XAI): strumenti che cercano di “tirare fuori” una spiegazione a posteriori da una rete neurale. È un approccio onesto, ma a mio avviso architetturalmente debole. È come cercare di ricostruire le istruzioni di un motore dopo che è esploso, sperando di capire perché andava così forte.
Quando ho iniziato a scrivere il codice di quello che sarebbe diventato il framework Pensai, ho preso una strada diversa. Ho deciso che non volevo estrarre una spiegazione da un sistema complesso. Volevo che il sistema decisionale fosse già la sua stessa spiegazione, fin dalla prima riga di codice.
Pensai non è un intelligenza artificiale che impara dai dati nel senso tradizionale del termine. È un motore di governance decisionale avanzata. È un “White Box” progettato per rispondere a un vincolo molto reale e molto terreno: la legge.
La matematica come linguaggio legale, non solo computazionale
Il cuore di Pensai è basato sull’analisi decisionale multi-criterio (MCDA), ma spinto al limite della complessità gestibile. Invece di un banale punteggio pesato, ho implementato funzioni di scoring non lineari (logistiche, a rendimenti decrescenti). Perché? Perché nella realtà le decisioni non sono lineari. Superare una certa soglia di rischio non aumenta il problema del 10%, lo raddoppia. Se la matematica del motore non riflette questa non-linearità, il sistema prende decisioni ingenuhe, per quanto “spiegabili”.
Poi c’è il problema delle interazioni. I criteri non vivono in isolamento. Nel codice ho inserito una matrice di correlazione pairwise: se il criterio A e il criterio B sono strettamente correlati, il loro impatto congiunto va calibrato, altrimenti si finisce per contare la stessa cosa due volte, falsando l’output. È matematica pura, ma applicata a un problema di business.
Il costo della reale incertezza: Epistemica vs Aleatoria
Una delle scelte di design di cui vado più fiero in Pensai v4 è la distinzione rigorosa tra incertezza aleatoria ed epistemica.
L’incertezza aleatoria è la variabilità naturale delle cose: so che il tasso di interesse potrebbe fluttuare del 2%, ma non so in che direzione. È rumore di fondo. L’incertezza epistemica è diversa: è il “non so cosa non so”. È un dato mancante, un modello non addestrato, una fonte inaffidabile.
Nel framework, l’incertezza epistemica viene penalizzata con un fattore doppio (2x) rispetto a quella aleatoria. Perché? Perché dal punto di vista della responsabilità legale e del rischio aziendale, ignorare un fattore è molto più pericoloso che affrontare una variabile nota ma volatile. Un sistema di scoring che non fa questa distinzione tratta un dado truccato allo stesso modo di un dado equo. E quello, in un contesto ad alto rischio, è un difetto di progettazione.
La simulazione di Monte Carlo come scudo legale
L’AI Act chiede “robustezza” e “accuratezza”. Ma come si dimostra matematicamente che un sistema è robusto se i suoi input sono incerti?
In Pensai ho integrato una simulazione Monte Carlo leggera (di default 1000 iterazioni). Invece di dare un punteggio fisso, il sistema campiona le distribuzioni di probabilità dei punteggi (triangolari, normali, beta) migliaia di volte. Il risultato non è più “L’opzione A vale 0.85”, ma “L’opzione A ha una media di 0.82 con un margine di errore di , e nel 94% delle simulazioni ha battuto l’opzione B”.
Questo cambia radicalmente la natura della spiegazione. Non stiamo più dicendo all’utente “il computer ha deciso così”. Stiamo dicendo “il sistema ha mappato lo spazio delle probabilità e questa è l’opzione statisticamente dominante”. È un salto epistemologico che trasforma l’algoritmo da arbitro inoperoso a consulente probabilistico.
Perché un “Monolith FROZEN” nel 2026?
C’è un dettaglio nel changelog di Pensai che potrebbe sembrare anacronistico ai developer moderni: la parola “FROZEN” e l’architettura monolitica. Viviamo nell’era dei microservizi, del serverless, dei pesi di reti neurali aggiornati in tempo reale.
Ma quando parliamo di High-Risk AI sotto il regolamento europeo, l’instabilità è il nemico. Un modello che cambia comportamento da un giorno all’altro perché ha ingerito nuovi dati è un incubo per la compliance. Come fai a certificare un sistema se la sua logica si muta sotto i tuoi piedi?
Pensai è progettato per essere “congelato”. La logica decisionale (la rubrica, i pesi, le matrici) viene hashata in SHA256. Se qualcuno tenta di modificare silenziosamente un peso per far vincere un fornitore invece di un altro, l’integrità crittografica salta. Il “drift” (lo scostamento) viene rilevato immediatamente. Il monolite non è una scelta pigra, è una scelta di responsabilità: voglio sapere esattamente cosa il sistema stava facendo alle 10:03:45 del 15 gennaio 2024, e voglio che quella logica sia immutabile.
Cosa Pensai non è
Pensai non sostituirà ChatGPT. Non genererà testi, non riconoscerà volti, non guiderà auto a pilotaggio automatico.
È un sistema per decisioni strutturate: valutazione di fornitori, scoring creditizio, allocazione di risorse, triage clinico. Situazioni in cui hai un set finito di opzioni, un set finito di regole aziendali/legali, e l’assoluta necessità di poter aprire il cofano e dimostrare, riga per riga e moltiplicazione per moltiplicazione, perché l’opzione X ha battuto l’opzione Y.
L’Intelligenza Artificiale moderna è ossessionata dalla capacità di apprendere cose che non sappiamo esprimere a parole. È una impresa affascinante. Ma in molti settori critici, quello di cui abbiamo disperatamente bisogno non è un sistema che “pensa” in modo insondabile, ma un sistema che “calcola” in modo impeccabile e difendibile.
Pensai è la mia risposta a questo bisogno. Un’architettura che accetta i limiti della logica simbolica per guadagnare l’unica cosa che conta davvero quando c’è di mezzo la responsabilità: la trasparenza assoluta.
Di Salvatore Martino