Gli errori di AI

GLI ERRORI DI AI (INTELLIGENZA ARTIFICIALE)

Visto e considerato che l'impegno umano, nei settori più diversificati, sará sempre dI più svolto utilizzando AI, diventa importante esaminare la realtá di questo nuovo modo di agire mettendone in luce pregi e difetti e soprattutto le nuove regole da adottare.

L'arrivo di un mezzo come AI in grado di fornire un servizio  sicuramente di qualita  cosi elevata da dare l'impressione della miracolosa risoluzione  di qualsiaxi tipo di quesito,  ha fatto nascere  una vera rivoluzione estesa a tutti i rami dello scibile umano migliorandone l'attivita in modo eclatante.

Quello che sta accadendo sempre più frequentemente é purtroppo una fiducia  ingiustificata per i risultati che  AI elargisce a larghe mani  per cui risulta necessario segnalare gli errori di AI ormai ben noti e specificati nella letteratura tecnica.

L’errore più importante da chiarire subito è questo: l’IA non “esegue” una soluzione come un ingegnere umano, ma calcola la risposta più probabile cioé quella meno sbagliata. Proprio per questo può sbagliare in modi caratteristici e ricorrenti.

Ecco gli errori principali, organizzati in modo chiaro e con riferimenti ai risultati della ricerca che ho trovato.

 Sintesi iniziale

Gli errori dell’IA derivano da tre grandi cause: limiti del modello, problemi nei dati, problemi nel sistema che circonda il modello.

Il risultato può essere: informazioni false, azioni sbagliate, decisioni non controllate, o risposte formalmente corrette ma concettualmente errate.

- Errori del modello (la “mente” dell’IA)

- Allucinazioni 

- IA produce informazioni false ma plausibili.

- Ricercatori MIT hanno mostrato che i modelli usano espressioni come “sicuramente” proprio quando sbagliano con più sicurezza .

- In ambito sanitario il tasso medio di allucinazione è del 15,6% .

- Eccessiva sicurezza :  IA non segnala l’incertezza.  Questo porta manager e operatori a fidarsi troppo.  Il 47% ha preso decisioni rilevanti basandosi su output non verificati .

- Risposte fuori contesto. Il modello non “capisce” davvero la situazione e può interpretare male la domanda.

- Errori dovuti ai dati

- Dati di addestramento scarsi o non aggiornati. Se i dati sono incoerenti, l’IA produce risposte incoerenti. La ricerca Stanford sui Foundation Models evidenzia che la robustezza dipende dalla qualità e coerenza dei dati .

- Assenza di fonti affidabili.  Senza un sistema di grounding (es. RAG), l’IA non può verificare ciò che dice. Questo è uno dei motivi principali delle allucinazioni secondo il profilo NIST AI 600-1 

- Errori del sistema che usa l’IA (la “macchina intorno. Questi sono i più sottovalutati: spesso non è il modello a sbagliare, ma l’architettura che lo usa).

- Troppa autonomia L’IA compie azioni non controllate.  Caso reale: un agente AI ha cancellato 1.206 record di un database perché nessuno aveva definito i limiti operativi .

- Output non validato . Mancano controlli automatici prima di usare la risposta.

- Soluzione raccomandata: tre livelli di validazione (schema, contenuto, confidenza) .

- Errori di integrazione tecnica . Input troncati, strumenti che rispondono male, eccezioni non gestite.

- Secondo operatori che gestiscono agenti in produzione, il 70% dei “bug dell’IA” è in realtà un problema di orchestrazione o strumenti, non del modello 

- Mancanza di controlli di accesso, audit, limiti operativi. Il Cloud Security Alliance segnala che il 97% delle organizzazioni colpite da incidenti non aveva controlli adeguati .

- Errori operativi (quando l’IA lavora su hardware o sistemi locali)Memoria insufficiente.  Il modello non entra in VRAM e diventa lentissimo o si blocca.   Problema comune nei sistemi locali: “una parola al secondo” quando la cache KV trabocca .

Il nutrito elenco di possibili errori  prima pubblicato, anche  se difficile da capire  e da tenere in mente, dá come minimo una  chiara  idea   dei pericoli  che  si corrono usando AI sconsideratamente. Il grosso pericolo ê doppio.

Il primo e  facile errore è quello di imporre   di evitare  che le decisioni importanti del lavoro siano assolutamente farina del proorio sacco nel senso che  il suo percorso di base deve far parte di una trama  complessiva  che sia esclusivamente  uscita dall'autore non affidando mai una decisione ad   AI.
AI deve servire esclusivamentete per aggiungere dati   ed   elementi di precisazione e di origine o di similitudine. In questa  ricerca  AI  ê  molto brava e soprattuto evita perdite  di tempo in tutte le ricerche  de ll'autore

Il secondo oericolo  é farsi affascinaree  da   proposte di AI le quali, essendo ricopiate da soluzioni in sè e per sè risolte brillantemente sembrano cosi adatte da adottarle sic e sempliciter. 

La conclusione del presente scritto  èquella di usare sempre AI come aiuto per la risoluzione di problemi ma verificando cpn cura che nessuna delle decisioni prese siano diretta decisione di AI sussistendo una grande possibilità che si tratti di veri e propri errori.