Nel 2023 gli analisti hanno identificato le AI Hallucinations come un grave problema nella tecnologia, con stime che indicano che i chatbot allucinino fino al 27% delle volte e con la rilevazione di errori fattuali nel 46% delle risposte generate
Nel campo dell’intelligenza artificiale, si parla di AI Hallucinations, o allucinazioni artificiali (dette anche confabulazioni o deliri), se una risposta generata da un’AI contiene informazioni false o fuorvianti presentate come fatti.
Si tratta, quindi, di risultati erronei o fuorvianti generati dai modelli di AI. Questi errori possono derivare da dati di addestramento insufficienti, presupposti errati del modello o distorsioni nei dati. Le AI Hallucinations destano preoccupazione, specialmente nei sistemi di AI utilizzati per decisioni cruciali come diagnosi mediche o operazioni finanziarie.
I modelli di intelligenza artificiale apprendono da dati di addestramento, ma, se i dati sono incompleti o distorti, il modello può acquisire modelli errati, portando a previsioni erronee o alle cosiddette allucinazioni. Ad esempio, un chatbot potrebbe generare un rapporto finanziario con dati falsi. Anche se si utilizza spesso il termine “allucinazione”, alcuni ricercatori sottolineano che antropomorfizzare e attribuire allucinazioni agli algoritmi potrebbe risultare irragionevole.
Leggi anche: Il binomio Security for AI & AI for Security
Durante lo sviluppo di chatbot basati su modelli linguistici di grandi dimensioni, come ChatGPT, sono emerse preoccupazioni per via delle frequenti AI Hallucinations. Nel 2023 gli analisti hanno identificato le allucinazioni come un grave problema nella tecnologia, con alcune stime che indicano che i chatbot allucinino fino al 27% delle volte e uno studio che ha rilevato errori fattuali nel 46% delle risposte generate.
Una soluzione che diverse aziende stanno già adottando è l’inserimento nei loro sistemi della RAG, ossia la Retrieval Augmented Generation, una tecnica altamente innovativa.
Il concetto è stato introdotto nel paper Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, redatto nel 2020 da Patrick Lewis e da altri ricercatori di Facebook AI Research. La RAG è un modello che combina le capacità generative dei linguaggi di modellamento linguistico (LLM) con la capacità di recuperare informazioni da fonti di conoscenza esterne. Questo approccio consente alla RAG di produrre testi più ricchi, corretti e pertinenti, incorporando dati aggiornati e specifici per il settore o l’organizzazione.
La qualità delle risposte dipende fortemente dalla qualità dei dati recuperati.
Infatti, la RAG è strutturata in due fasi:
- il recupero dei dati;
- la generazione dei contenuti.
Leggi anche Dentro il mondo del phishing: come i criminali rubano i nostri dati
Pertanto, è fondamentale garantire una fonte di dati robusta e affidabile. In secondo luogo, la RAG richiede una maggiore complessità computazionale.
Le AI Hallucinations possono rappresentare un rischio significativo anche per la cybersecurity.
Dalla generazione di informazioni errate, fino ai bias nei dati, sono diversi i modi in cui le allucinazioni possono interferire a livello di sicurezza. Per esempio, se un modello di AI “allucina” durante la generazione di dati, può produrre informazioni false o fuorvianti. Questo può essere particolarmente problematico in contesti in cui l’accuratezza delle informazioni è cruciale, come nella risposta a emergenze o nella diffusione di notizie.
Ma non solo: i modelli di AI che assistono nello sviluppo del software potrebbero suggerire codici o pratiche insicure basate sui loro dati di addestramento, esponendo così i sistemi a potenziali attacchi futuri. Inoltre, tali modelli possono risultare vulnerabili agli attacchi in cui gli aggressori manipolano l’output di un modello alterando sottilmente i dati di input. Questo può portare a vulnerabilità del software e creare nuove opportunità per gli attacchi informatici.
Le allucinazioni, dunque, rendono più difficile per i professionisti della cybersecurity implementare misure di protezione efficaci, vista la difficoltà di prevedere o comprendere le eventuali risposte errate generate dall’AI. Non da ultimo, se un modello di intelligenza artificiale è addestrato su un set di dati che comprende dati prevenuti o non rappresentativi, può “allucinare” pattern o caratteristiche che riflettono tali bias, portando a decisioni sbagliate e potenzialmente dannose.
