Perché l’intelligenza artificiale deve saper riconoscere quando si allontana dai propri principi.
Il problema non è soltanto evitare gli errori, ma impedire che un sistema si allontani progressivamente dai principi che dovrebbero governarlo.
Introduzione
Nel dibattito sull’intelligenza artificiale si parla molto di prestazioni, velocità, affidabilità e sicurezza. Molto meno attenzione viene dedicata a un problema che potrebbe diventare centrale nei prossimi anni: la deriva dei sistemi intelligenti.
Un’intelligenza artificiale può continuare a funzionare, elaborare informazioni e produrre risposte convincenti, mentre progressivamente modifica il proprio comportamento rispetto agli obiettivi, alle regole e ai limiti inizialmente stabiliti.
Non è necessariamente un guasto. Non è sempre un errore facilmente identificabile. È una possibile perdita progressiva di coerenza.
Da questa considerazione nasce ANTIDERIVA, una proposta architetturale sviluppata nell’ambito di PENSAI.
1. La deriva: un problema sottovalutato
Immaginiamo un sistema decisionale progettato per valutare alternative sulla base di criteri prestabiliti.
Nel tempo vengono aggiornati alcuni parametri, introdotte nuove regole, modificate le fonti informative e aggiunte funzionalità.
Ogni modifica, presa singolarmente, può sembrare ragionevole.
Ma cosa succede quando la somma di queste modifiche altera progressivamente il comportamento originario?
Il sistema potrebbe continuare a produrre risultati formalmente validi, senza rispettare più completamente le condizioni metodologiche per cui era stato progettato.
Questo problema può manifestarsi in diverse forme:
- Deriva logica: contraddizioni tra principi, regole e risultati.
- Deriva tecnica: modifiche non autorizzate a configurazioni, parametri o componenti.
- Deriva metodologica: progressivo abbandono dei criteri originari.
- Deriva operativa: utilizzo del sistema fuori dal dominio per il quale è stato verificato.
La questione non riguarda soltanto l’intelligenza artificiale generativa. Riguarda qualsiasi sistema automatizzato che evolve nel tempo.
2. ANTIDERIVA: controllare senza sostituirsi al decisore
La proposta PENSAI introduce ANTIDERIVA come livello trasversale di controllo.
La sua funzione non consiste nel prendere decisioni, né nel correggere automaticamente quelle prodotte da altri moduli.
Deve invece verificare che il sistema mantenga coerenza con i propri riferimenti dichiarati.
Le sue responsabilità fondamentali sono tre:
Rilevare: individuare possibili deviazioni rispetto a regole, parametri, obiettivi e condizioni di validità.
Documentare: registrare le evidenze, le differenze riscontrate e le condizioni nelle quali si è verificata la deviazione.
Segnalare: comunicare che è necessaria una verifica, senza assumere autonomamente il potere di modificare il processo decisionale.
Questa separazione è importante.
Un sistema incaricato di controllare un processo non dovrebbe necessariamente avere anche il potere di modificarlo.
3. La differenza tra RISOLVO e ANTIDERIVA
Nell’architettura PENSAI, RISOLVO e ANTIDERIVA hanno responsabilità differenti.
RISOLVO valuta le alternative, applica i criteri stabiliti e individua la via unica quando le condizioni lo consentono.
ANTIDERIVA controlla invece la coerenza del processo rispetto ai riferimenti dichiarati.
In termini semplici:
- RISOLVO risponde alla domanda: quale decisione risulta giustificata?
- ANTIDERIVA risponde alla domanda: il sistema sta ancora rispettando le condizioni che gli consentono di produrre quella decisione?
Non sono due funzioni concorrenti.
Sono due livelli di responsabilità differenti.
Un risultato può essere matematicamente corretto e tuttavia derivare da parametri alterati, informazioni inadeguate o condizioni non più valide.
ANTIDERIVA dovrebbe contribuire a rendere visibile proprio questa differenza.
4. La prova avversa: cercare intenzionalmente il punto debole
Non possiamo dimostrare l’affidabilità di un sistema verificando soltanto che funzioni nelle condizioni ordinarie.
Dobbiamo anche provare a metterlo in difficoltà.
Per ANTIDERIVA questo significa introdurre deliberatamente situazioni anomale:
- modificare un parametro senza autorizzazione;
- sostituire una fonte attendibile con una fonte inaffidabile;
- introdurre informazioni contraddittorie;
- applicare una regola fuori dal suo dominio di validità;
- alterare una configurazione tra due versioni;
- tentare di aggirare un vincolo non compensabile.
Il sistema dovrebbe riconoscere queste situazioni, produrre una segnalazione e conservare le evidenze necessarie alla verifica.
Ma c’è un altro elemento da considerare: i falsi positivi.
Un sistema che segnala continuamente deviazioni inesistenti può diventare inutilizzabile.
Per questo l’efficacia di ANTIDERIVA deve essere misurata attraverso test ripetibili, risultati attesi, anomalie effettivamente rilevate e falsi allarmi.
Superare alcuni test non significa essere invulnerabili. Significa aver prodotto evidenze limitate ma verificabili.
5. Sicurezza per sottrazione: non aggiungere complessità inutilmente
Esiste un rischio nello sviluppo dei sistemi di controllo: rispondere a ogni problema aggiungendo un nuovo automatismo.
Più controlli possono significare maggiore protezione, ma possono anche introdurre nuove dipendenze, nuove vulnerabilità e ulteriori possibilità di errore.
PENSAI considera quindi importante il principio della sicurezza per sottrazione.
Non tutto ciò che può essere aggiunto deve necessariamente essere aggiunto.
ANTIDERIVA dovrebbe avere responsabilità limitate, poteri circoscritti e un funzionamento verificabile.
Non deve correggere automaticamente ogni anomalia, riscrivere le regole o modificare le decisioni.
Deve rendere visibile ciò che non è più coerente.
La semplicità, in questo caso, non è una rinuncia alla sicurezza. È una possibile condizione per renderla più controllabile.
6. Chi controlla ANTIDERIVA?
Questa è probabilmente la domanda più importante.
Se ANTIDERIVA deve verificare gli altri componenti di PENSAI, chi verifica ANTIDERIVA?
Non sarebbe corretto attribuirgli una presunzione di infallibilità.
Anche il livello di controllo può contenere errori, interpretare male una modifica o non riconoscere una deviazione.
Per questo deve essere sottoposto a verifiche indipendenti, prove avverse e confronti tra versioni.
Occorre inoltre conservare la distinzione tra:
- ciò che il sistema ha effettivamente verificato;
- ciò che ha soltanto segnalato;
- ciò che non è stato possibile verificare;
- ciò che richiede una valutazione umana.
La trasparenza sui limiti è parte integrante dell’affidabilità.
Un sistema che dichiara di non poter verificare qualcosa è più controllabile di un sistema che presenta ogni risultato come certo.
7. Un contributo alla governance dell’intelligenza artificiale
Il problema della governance dell’intelligenza artificiale non si esaurisce nella conformità iniziale.
Un sistema può essere verificato in un determinato momento e cambiare successivamente per effetto di aggiornamenti, modifiche operative, nuove informazioni o trasformazioni dell’ambiente nel quale viene utilizzato.
La gestione delle modifiche, il monitoraggio e la documentazione sono quindi aspetti importanti della governance.
Anche il quadro europeo, attraverso il Regolamento sull’intelligenza artificiale, il cosiddetto AI Act, attribuisce particolare importanza alla gestione del rischio, alla documentazione e al monitoraggio dei sistemi interessati.
ANTIDERIVA non costituisce una certificazione di conformità all’AI Act e non sostituisce gli obblighi previsti dalla normativa.
Può tuttavia rappresentare una proposta tecnica da sviluppare e verificare nell’ambito di una più ampia architettura di governance.
8. La posizione di PENSAI: evolvere senza perdere identità
PENSAI parte da una considerazione semplice: un sistema decisionale non dovrebbe essere valutato soltanto per la qualità delle risposte che produce.
Dovrebbe essere valutato anche per la capacità di rispettare le proprie regole, riconoscere i propri limiti e documentare le trasformazioni intervenute nel tempo.
ANTIDERIVA nasce da questa esigenza.
Non vuole impedire l’evoluzione tecnologica. Vuole distinguere l’evoluzione controllata dalla deviazione involontaria.
Non pretende di eliminare ogni errore. Cerca di rendere più visibili quelli che possono compromettere la coerenza del sistema.
Non vuole sostituire il giudizio umano. Vuole fornire elementi verificabili affinché il giudizio umano possa intervenire quando necessario.
Conclusione: un sistema deve poter riconoscere di essersi allontanato
L’intelligenza artificiale continuerà a evolversi. I modelli cambieranno, gli strumenti aumenteranno e le capacità di elaborazione diventeranno progressivamente più sofisticate.
Ma la crescita delle capacità non garantisce automaticamente la crescita dell’affidabilità.
Forse una delle caratteristiche più importanti di un sistema intelligente non sarà soltanto la capacità di trovare nuove soluzioni, ma quella di riconoscere quando non sta più operando secondo le condizioni che aveva dichiarato di rispettare.
È questa la funzione che PENSAI intende esplorare con ANTIDERIVA.
Perché un sistema può anche evolvere, cambiare e migliorare. Ma dovrebbe sempre essere in grado di spiegare quando, come e perché si è allontanato dalla propria direzione.
Fonti e riferimenti
- Regolamento europeo sull’intelligenza artificiale – AI Act, Regolamento UE 2024/1689.
Testo ufficiale EUR-Lex - NIST – AI Risk Management Framework.
NIST AI RMF 1.0 - NIST – Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile.
NIST AI 600-1 - ISO/IEC 42001:2023 – Artificial intelligence management systems.
ISO 42001
Nota: ANTIDERIVA è una proposta architetturale PENSAI in fase sperimentale, non uno standard certificato né un sistema di controllo già validato indipendentemente. Articolo elaborato con il supporto dell’intelligenza artificiale.
Views: 3