Data Poisoning

Il data poisoning rappresenta una delle minacce più sofisticate che i sistemi di IA aziendali devono affrontare oggi. Poiché le organizzazioni si affidano sempre più ai modelli di apprendimento automatico per le decisioni aziendali critiche, gli attori malintenzionati hanno trovato il modo di corrompere le fondamenta stesse su cui si basano questi sistemi.

Il data poisoning è un attacco informatico che prende di mira la fase di addestramento dei modelli di intelligenza artificiale (IA) e di apprendimento automatico, corrompendo o manipolando deliberatamente i set di dati utilizzati per insegnare a questi sistemi. A differenza della maggior parte dei moderni attacchi informatici che prendono di mira i sistemi dopo la loro implementazione, il data poisoning colpisce alla fonte.

Gli aggressori iniettano informazioni dannose, fuorvianti o falsificate nei set di dati di addestramento per alterare in modo fondamentale il modo in cui i modelli di IA apprendono e prendono decisioni.

L’attacco sfrutta una vulnerabilità fondamentale nel funzionamento dei sistemi di IA. I modelli di apprendimento automatico apprendono modelli e formulano previsioni basandosi interamente sulla qualità e l’integrità dei loro dati di addestramento. Quando questi dati fondamentali vengono compromessi, il sistema di IA che ne deriva eredita questi difetti e li perpetua nelle applicazioni del mondo reale.

Ciò che rende il data poisoning particolarmente pericoloso è la sua natura furtiva. I dati compromessi spesso sembrano legittimi e possono eludere i processi standard di convalida dei dati. Una volta che un modello viene addestrato su dati compromessi, può produrre risultati distorti, effettuare classificazioni errate o persino contenere backdoor nascoste che si attivano in condizioni specifiche. Ciò crea rischi per la sicurezza a lungo termine che possono persistere per tutta la durata operativa del modello.

Una recente ricerca del 2025 dimostra il grave impatto di questi attacchi, con il data poisoning in grado di ridurre l’accuratezza dei modelli di IA fino al 27% nei sistemi di riconoscimento delle immagini e al 22% nelle applicazioni di rilevamento delle frodi. La sua efficacia è un invito all’azione tra le organizzazioni e i professionisti della sicurezza informatica per identificare e mitigare gli impatti dei dati avvelenati.

I team di sicurezza aziendali devono affrontare diverse varianti di attacchi di data poisoning, ciascuno progettato per sfruttare diverse vulnerabilità nei processi di addestramento dell’IA.

• Attacchi mirati/backdoor: questi attacchi sofisticati incorporano trigger nascosti nei dati di addestramento che si attivano in condizioni specifiche. Il modello funziona normalmente nella maggior parte delle situazioni, ma produce output dannosi predeterminati quando incontra il modello di trigger incorporato.
• Attacchi alla disponibilità: noti anche come attacchi non mirati, questi attacchi mirano a degradare le prestazioni complessive dei modelli di IA corrompendo grandi porzioni dei dati di addestramento. Gli aggressori iniettano dati rumorosi o contraddittori che riducono l’accuratezza del modello su tutta la linea, rendendo il sistema inaffidabile per l’uso aziendale.
• Label flipping (inversione delle etichette): questo semplice attacco consiste nel modificare sistematicamente le etichette sui dati di addestramento per creare false associazioni. Ad esempio, gli aggressori potrebbero rietichettare le e-mail di spam come messaggi legittimi, facendo sì che i filtri di sicurezza non rilevino le minacce reali durante l’implementazione.
• Clean-label attacks (attacchi con etichette pulite): rappresentano la forma più insidiosa di data poisoning, in cui gli aggressori iniettano campioni dall’aspetto innocuo che sembrano correttamente etichettati ai revisori umani. I dati avvelenati mantengono le loro proprietà dannose anche dopo la convalida da parte di esperti, creando vulnerabilità nascoste che si attivano in scenari specifici.
• Avvelenamento dei set di dati pubblici vs. privati: i set di dati pubblici sono esposti ai rischi derivanti dall’iniezione di web scraping e dalla corruzione dei database a monte, mentre i set di dati privati sono vulnerabili alle minacce interne e agli account compromessi. Entrambi i vettori di attacco possono compromettere più sistemi di IA contemporaneamente, anche se i set di dati privati contengono spesso dati organizzativi più sensibili.

Gli attacchi di data poisoning seguono un processo sistematico che sfrutta le vulnerabilità nelle pipeline di addestramento dell’IA. L’attacco si svolge attraverso diverse fasi chiave che possono compromettere anche sistemi ben protetti.

Fase 1: ottenere l’accesso ai dati

Gli aggressori identificano innanzitutto i punti di ingresso nella pipeline di dati del sistema di destinazione. Ciò potrebbe comportare lo sfruttamento delle vulnerabilità nei processi di raccolta dei dati, la compromissione di fornitori di dati di terze parti o l’utilizzo dell’accesso interno ai set di dati di addestramento. In alcuni casi, gli aggressori prendono di mira i set di dati disponibili pubblicamente che le organizzazioni utilizzano comunemente per addestrare i propri modelli.

Fase 2: selezionare il metodo di avvelenamento

L’aggressore sceglie il proprio approccio in base ai propri obiettivi e alle difese del sistema di destinazione. Possono optare per attacchi furtivi e sottili che corrompono lentamente i dati nel tempo o metodi di iniezione più aggressivi che introducono campioni dannosi direttamente nei set di addestramento. La scelta dipende dal fatto che vogliano degradare le prestazioni complessive o creare specifiche vulnerabilità backdoor.

Fase 3: creazione di dati dannosi

Gli aggressori creano campioni avvelenati progettati per eludere il rilevamento e raggiungere i loro obiettivi. Questi campioni spesso appaiono legittimi ai revisori umani, ma contengono trigger nascosti o etichette corrotte che influenzeranno il comportamento del modello. I dati avvelenati sono accuratamente creati per integrarsi perfettamente con esempi di addestramento benigni.

Fase 4: iniezione nella pipeline di dati

I dati dannosi vengono introdotti nel set di dati di addestramento del sistema di destinazione attraverso vari metodi. Ciò potrebbe avvenire durante la raccolta dei dati, la pre-elaborazione o anche dopo l’addestramento iniziale attraverso sistemi di apprendimento continuo. I sistemi RAG (Retrieval-Augmented Generation) sono particolarmente vulnerabili poiché si basano su database di conoscenze esterni che possono essere compromessi.

Esempio di sistema RAG: generazione di codice dannoso

Considera un assistente di codifica basato su RAG utilizzato dagli sviluppatori aziendali. Un aggressore inietta nella base di conoscenza del sistema una documentazione dannosa che sembra contenere esempi di codice legittimi. Tuttavia, questi esempi includono sottili vulnerabilità o backdoor mascherate da pratiche di programmazione standard.

Quando gli sviluppatori interrogano il sistema per ottenere frammenti di codice, il RAG recupera questa documentazione compromessa e genera risposte contenenti il codice dannoso. L’attacco ha successo perché le informazioni corrotte hanno un’elevata somiglianza semantica con le query di programmazione legittime, garantendo un recupero frequente.

Efficacia comprovata dell’attacco

La ricerca accademica dimostra l’allarmante efficacia di questi attacchi con una corruzione minima dei dati. Gli studi dimostrano che l’iniezione di solo il 3% di dati compromessi può aumentare drasticamente i tassi di errore: dal 3% al 24% nei sistemi di rilevamento dello spam e dal 12% al 29% nei modelli di analisi del sentiment.

Ancora più preoccupante è il fatto che i sistemi RAG possono raggiungere tassi di successo degli attacchi del 90% quando gli aggressori iniettano solo cinque testi dannosi per ogni domanda target in database di conoscenza contenenti milioni di documenti. Recenti ricerche sull’intelligenza artificiale in campo medico hanno rivelato che la corruzione di appena lo 0,001% dei token di addestramento può aumentare la generazione di contenuti dannosi del 4,8% nei modelli linguistici di grandi dimensioni (LLM).

Le conseguenze del data poisoning vanno ben oltre i problemi di prestazioni tecniche, creando rischi a livello aziendale che possono compromettere le operazioni commerciali e rappresentare una minaccia per la sicurezza umana.

• Guasti critici dei sistemi sanitari: il data poisoning nei sistemi di IA medica può portare a diagnosi errate e errori terapeutici. Gli studi hanno dimostrato che gli errori di sistema nelle chirurgie robotiche rappresentano il 7,4% degli eventi avversi, con conseguente interruzione delle procedure e tempi di recupero prolungati.
• Corruzione del processo decisionale finanziario: i sistemi di IA aziendali utilizzati per l’analisi degli investimenti, il credit scoring e la valutazione del rischio diventano inaffidabili quando i dati di addestramento sono compromessi. Gli attacchi di data poisoning possono distorcere l’analisi di un sistema di IA, portando a decisioni di investimento errate o valutazioni del rischio inaccurate che comportano perdite finanziarie significative.
• Bypass dei filtri di sicurezza ed elusione dei sistemi di rilevamento: i modelli di sicurezza compromessi non riescono a identificare le minacce reali, consentendo alle e-mail di spam, agli attacchi di phishing e al malware di aggirare le difese aziendali. Come indicato sopra, anche una piccola quantità di dati compromessi può aumentare notevolmente i tassi di errore nei sistemi di rilevamento dello spam, compromettendo gravemente la sicurezza di un’organizzazione.
• Operazioni backdoor furtive a lungo termine: attacchi avanzati, come gli SDBA (Stealthy and Durable Backdoor Attacks), possono rimanere nascosti all’interno dei modelli di IA per lunghi periodi, eludendo molteplici meccanismi di difesa. Queste backdoor si attivano solo in condizioni specifiche, consentendo agli aggressori di mantenere un accesso e un controllo persistenti sui sistemi di IA senza essere rilevati.
• Violazioni normative e di conformità: le organizzazioni rischiano sanzioni severe quando i sistemi di IA contaminati producono decisioni parziali o illegali, con l’EU AI Act che impone multe fino a 35 milioni di euro o al 7% del fatturato annuo globale per violazioni vietate dell’IA. Nel 2024 le istituzioni finanziarie hanno registrato un aumento del 150% delle multe relative all’IA, con sanzioni multimilionarie sempre più comuni a causa del giro di vite delle autorità di regolamentazione sui pregiudizi algoritmici e sulle carenze di trasparenza.
• Danno alla reputazione del marchio e alla fiducia dei consumatori: i guasti dei sistemi di IA pubblici dovuti al data poisoning possono causare un danno reputazionale duraturo, con il 59% dei consumatori che evita i marchi che percepisce come poco sicuri. Incidenti di alto profilo che coinvolgono servizi basati sull’IA possono minare la fiducia dei consumatori e avere un impatto a lungo termine sul business che va oltre le perdite finanziarie immediate.

Le aziende intelligenti sanno che la difesa dal data poisoning richiede un approccio multilivello. La buona notizia è che strategie collaudate possono ridurre significativamente il rischio se implementate con attenzione in tutto il processo di sviluppo dell’IA.

Igiene e governance dei dati

Considera la governance dei dati come la tua prima linea di difesa contro gli attacchi di avvelenamento. Il tuo team ha bisogno di solidi processi di convalida, come controlli dello schema e convalida incrociata, per individuare i dati problematici prima che raggiungano i tuoi modelli. Imposta un adeguato controllo delle versioni per i tuoi set di dati e limita chi può apportare modifiche attraverso controlli di accesso basati sui ruoli.

Sanificazione dei dati e rilevamento delle anomalie

Gli strumenti di rilevamento delle anomalie agiscono come guardie di sicurezza per i tuoi set di dati, individuando i punti dati che non appartengono al contesto. Implementa algoritmi specializzati in grado di segnalare input sospetti utilizzando tecniche come l’analisi del vicino più prossimo (nearest neighbor analysis). Gli strumenti di sanificazione automatizzata facilitano il lavoro identificando e rimuovendo i dati discutibili prima che causino problemi.

Adversarial training e backdoor

Considera l’adversarial training come un modo per immunizzare i tuoi modelli contro attacchi futuri. Questo approccio espone deliberatamente la tua IA a esempi avversari durante l’addestramento, consentendole di imparare a gestire correttamente input complessi. Puoi anche aggiungere l’iniezione di rumore e una solida convalida degli input per rafforzare i tuoi modelli contro i tentativi di backdoor.

Monitoraggio e valutazione continui

I sistemi di monitoraggio in tempo reale analizzano i dati in entrata per rilevare immediatamente gli input dannosi, mentre regolari controlli dei modelli aiutano a identificare i primi segni di degrado delle prestazioni. Le organizzazioni dovrebbero stabilire processi di verifica continua che tengano traccia degli indicatori chiave di prestazione (KPI), come accuratezza, precisione e richiamo, per rilevare derive o modelli di comportamento insoliti. Il retraining periodico con set di dati puliti e verificati aiuta a mantenere l’integrità del modello nel tempo.

Human in the Loop

I processi di revisione manuale forniscono una supervisione critica quando i sistemi automatizzati segnalano output di modelli insoliti o anomalie nei dati. I team di sicurezza dovrebbero stabilire protocolli chiari per l’intervento umano quando i modelli mostrano comportamenti imprevisti o quando i sistemi di rilevamento delle anomalie attivano degli allarmi. Sessioni di formazione regolari attraverso programmi di security awareness training aiutano i team di sicurezza informatica a riconoscere le tattiche di data poisoning e a rispondere in modo appropriato ai sospetti incidenti.

Protezione della pipeline ML e della supply chain

Controlli di accesso completi e crittografia proteggono i dati di formazione lungo tutta la pipeline di machine learning. Le organizzazioni devono implementare una supervisione rigorosa delle fonti di dati di terze parti ed eseguire revisioni approfondite del codice per qualsiasi componente esterno integrato nei loro sistemi di IA. L’autenticazione a più fattori (MFA) e l’archiviazione crittografata dei dati impediscono modifiche non autorizzate durante tutto il ciclo di vita dei dati, mentre le valutazioni di sicurezza dei fornitori garantiscono che i set di dati di terze parti soddisfino gli standard di sicurezza.

La piattaforma di sicurezza dei dati unificata di Proofpoint fornisce la difesa completa di cui le organizzazioni hanno bisogno per proteggersi dagli attacchi di data poisoning attraverso una classificazione avanzata dei dati basata sull’intelligenza artificiale, analisi comportamentali e monitoraggio in tempo reale su tutti i canali di dati. Combinando la sicurezza incentrata sulle persone con l’automazione intelligente, Proofpoint aiuta le aziende a mantenere l’integrità dei dati dalla fonte alla distribuzione, rilevando al contempo anomalie e attività sospette che potrebbero indicare tentativi di avvelenamento.

Le aziende possono proteggere con sicurezza le loro pipeline di formazione AI e i loro set di dati con i controlli adattivi di Proofpoint che rispondono alle minacce emergenti. Contattaci per saperne di più.

Comprendere le sfumature del data poisoning aiuta i team di sicurezza aziendali a proteggere meglio i loro sistemi AI. Ecco le risposte alle domande più frequenti su questa minaccia emergente.

Qual è la differenza tra data poisoning e attacchi avversari?

Il data poisoning prende di mira la fase di formazione corrompendo i set di dati prima che i modelli imparino da essi. Altri tipi di attacchi avversari manipolano gli input durante l’inferenza per causare previsioni errate senza alterare il modello stesso. Entrambi rientrano nella categoria dell’adversarial AI, ma il data poisoning crea vulnerabilità permanenti incorporate nel modello, mentre gli attacchi in fase di inferenza richiedono una manipolazione continua degli input.

Quanto “veleno” è necessario per influenzare un modello?

La ricerca dimostra che avvelenare solo dall’1% al 3% dei dati di addestramento può compromettere in modo significativo l’accuratezza e le prestazioni di un sistema di IA. Studi accademici dimostrano che anche rapporti di contaminazione minimi fino allo 0,01% possono influire in modo sostanziale sul comportamento dei modelli linguistici, con effetti che seguono una relazione log-lineare tra il rapporto di avvelenamento e il successo dell’attacco.

È possibile prevenire completamente il data poisoning?

La prevenzione completa è difficile, ma le organizzazioni possono ridurre significativamente i rischi attraverso strategie difensive complete. Poiché il ripristino o la sanificazione dei dati danneggiati dopo un attacco è spesso impraticabile o impossibile, la prevenzione attraverso una solida convalida dei dati, il monitoraggio e i controlli di accesso rimane l’approccio difensivo più praticabile.

I modelli pubblici vengono spesso contaminati?

I modelli di IA generativa sono particolarmente vulnerabili a causa della loro dipendenza da grandi quantità di dati provenienti dal web aperto, dove anche piccole infiltrazioni di contenuti dannosi possono compromettere l’integrità del modello. I set di dati pubblici e i modelli addestrati su dati raccolti dal web sono particolarmente suscettibili alla contaminazione, anche se la frequenza degli incidenti specifici varia a seconda dei diversi tipi di modelli e scenari di implementazione.

Come posso verificare la presenza di contaminazione nel mio set di dati e nel mio modello?

Il monitoraggio regolare comporta il tracciamento delle fonti di dati alla ricerca di modelli insoliti, la valutazione delle prestazioni del modello alla ricerca di comportamenti imprevisti e l’utilizzo di strumenti di rilevamento delle derive per identificare le anomalie. Le organizzazioni dovrebbero implementare processi di verifica continua che esaminino sia i set di dati in ingresso che i risultati del modello, stabilendo linee di base comportamentali per rilevare deviazioni che potrebbero indicare tentativi di contaminazione.