Quando fermarsi diventa l’unica decisione razionale
Persona pronta a intervenire con coltellino svizzero osserva un fiume in piena (169)
Saggi

Quando fermarsi diventa l’unica decisione razionale

Cosa sta mostrando davvero il sistema AI all’inizio del 2026

17 Gennaio 2026

Negli ultimi anni, i sistemi di intelligenza artificiale non stanno fallendo perché sbagliano.
Stanno fallendo perché fanno esattamente ciò che ci si aspettava da loro — e il risultato non è più difendibile.

È un cambio di prospettiva importante.
Non riguarda la qualità del codice, la potenza dei modelli o la quantità di dati.
Riguarda una domanda più semplice e più scomoda: fino a che punto è legittimo continuare?

Sempre più spesso, sistemi avanzati vengono fermati non perché producono errori evidenti, ma perché la loro azione, anche quando è coerente e “corretta”, genera conseguenze che nessuna spiegazione riesce più a giustificare.

Il blocco — lo STOP — non arriva come una correzione tecnica.
Arriva come una decisione di governo.


Un copione che si ripete

Il copione è ormai riconoscibile.

Algoritmi di welfare che applicano correttamente le regole ma producono migliaia di debiti illegittimi.
Sistemi di riconoscimento facciale che funzionano come progettato ma espongono cittadini innocenti a rischi giudiziari irreversibili.
Mercati finanziari automatizzati che reagiscono in modo coerente agli input e innescano crolli improvvisi.
Algoritmi sanitari che allocano risorse “in modo efficiente” ma finiscono per escludere interi gruppi dalle cure.

In ciascun caso, il problema non è che il sistema non funzioni.
È che continuare a farlo funzionare diventa insostenibile.

Il fermo non segnala un bug.
Segnala che il contesto decisionale non regge più.


Quando il rischio non si lascia più calcolare

Per decenni abbiamo trattato il rischio come una questione di probabilità.
Quanto è probabile che qualcosa vada storto?
Quanto spesso?
Con quale margine di errore accettabile?

Questo approccio funziona in sistemi stabili e reversibili.
Ma nei sistemi complessi, interconnessi e difficili da controllare, la probabilità diventa una coperta troppo corta.

Non riesce più a proteggere dalle conseguenze peggiori.
E spesso finisce per nasconderle.

La domanda cambia:
non è più “quanto è probabile il disastro?”,
ma se esiste un modo plausibile in cui quella decisione possa produrre un danno irreversibile.

Se quel percorso esiste, anche se raro, la decisione smette di essere accettabile.


Fermarsi non come errore, ma come atto di governo

In questo scenario, fermarsi non è un segno di debolezza.
È una scelta razionale.

Lo STOP non serve a migliorare il sistema.
Serve a dire che il quadro entro cui il sistema opera non consente più decisioni legittime.

Per questo, storicamente, lo STOP arriva sempre tardi:
dopo il danno, dopo la crisi, dopo che il problema è diventato pubblico.

Solo allora appare inevitabile.


I segnali dal campo: gennaio 2026

All’inizio del 2026, il settore AI non sta mostrando una semplice riduzione degli errori.
Sta mostrando segnali di cedimento strutturale.

Un chatbot AI di Google ha prodotto accuse false contro grandi società di consulenza durante un’inchiesta parlamentare, attribuendo audit mai avvenuti.
Non un errore marginale, ma un’uscita con peso istituzionale.

Nel frattempo, i coding assistant hanno raggiunto un plateau e iniziano a rallentare il lavoro invece di accelerarlo.
Sviluppatori esperti tornano a modelli precedenti o a processi manuali.

Secondo diverse analisi di settore, l’AI potrebbe entrare nel cosiddetto trough of disillusionment:
scalare costa troppo, i modelli di business non reggono, e molte iniziative vengono ridimensionate o chiuse.

Alcuni fallimenti sono già misurabili.
Volkswagen ha accumulato miliardi di perdite nel tentativo di costruire un sistema operativo unificato basato su AI.
Un algoritmo assicurativo ha mostrato tassi di errore tali da rendere necessaria una revisione umana sistematica.

A questo si aggiungono infrastrutture fragili, outage ripetuti e concentrazione di dipendenze critiche.
Quando i sistemi AI diventano nodi centrali, l’errore non è più locale: si propaga.

Infine, un dato simbolico: nel 2025 oltre due terzi delle aziende S&P 500 hanno dichiarato almeno un material AI risk nei propri report.
Due anni prima erano poco più di una su dieci.

Il rischio non è più teorico.
È entrato a bilancio.


Il punto prima del crollo

Messo insieme, questo quadro non racconta una storia di miglioramento graduale.
Racconta qualcosa di diverso:

il sistema funziona come progettato,
ma il danno non è più contenibile, né spiegabile, né compensabile.

Non siamo ancora al collasso.
Ma siamo nel momento che lo precede sempre:
quello in cui fermarsi diventa più razionale che continuare.


Una domanda che resta

Quando anche l’inazione diventa una scelta rischiosa, il problema non è decidere meglio.
È ammettere che il contesto stesso va ripensato.

La vera domanda non è cosa fare con sistemi sempre più potenti.
È chi ha il diritto — e il dovere — di fermarli prima che l’azione diventi irreversibile.

Non dopo l’errore.
Non dopo la crisi.
Prima.


Nota OfflineMind

Questo articolo non propone soluzioni e non indica colpevoli.
Si limita a osservare un passaggio critico:
il momento in cui spiegare non basta più,
e fermarsi smette di essere un tabù.

Prossimo articolo Quando l’AI diventa comoda