Generative AI Security Risks: ciò che le aziende devono sapere

L’intelligenza artificiale generativa (GenAI) è passata rapidamente dalla fase iniziale di esplorazione all’adozione mainstream in un’ampia gamma di settori. Dai team di marketing che la utilizzano per la creazione di contenuti agli sviluppatori che la sfruttano per suggerimenti di codice, la GenAI sta ridefinendo il mondo della produttività e dell’innovazione aziendale. Tuttavia, questa trasformazione comporta una serie crescente di rischi per la sicurezza.

Le aziende stanno adottando con urgenza strumenti GenAI come ChatGPT, Claude, Google Gemini e Microsoft 365 Copilot, spesso spinte da una maggiore efficienza, dalla pressione competitiva o dal potenziale di automazione. Tuttavia, in molti casi, la governance della sicurezza, i controlli e i quadri normativi sono molto indietro. Di conseguenza, le aziende potrebbero esporsi a rischi.

Questo blog esplora le minacce più significative legate alla GenAI, come possono manifestarsi in situazioni reali e le misure pratiche che le organizzazioni possono adottare per mitigare tali rischi.

Perché la GenAI introduce nuove categorie di rischio

La GenAI è fondamentalmente diversa dal software tradizionale. Anziché eseguire una logica basata su regole, i modelli GenAI generano contenuti basati su modelli appresi da vasti set di dati. Ciò significa che l’output può variare notevolmente a seconda della formulazione del prompt, del contesto, dei dati di addestramento e di sottili pregiudizi, spesso in modi imprevedibili.

Poiché il comportamento della GenAI dipende fortemente dai dati e dal contesto:

• I suoi output non sono garantiti né riproducibili. Due prompt simili potrebbero produrre risultati molto diversi.
• Le sue risposte sono modellate sia dal contesto fornito dall’utente che dai dati di addestramento del modello, con tutti i loro pregiudizi, lacune o difetti.
• Rispecchia e amplifica il comportamento umano, buono o cattivo che sia, a seconda di come viene utilizzato.

Questa imprevedibilità è amplificata dalla velocità di adozione da parte delle imprese. Un sondaggio McKinsey del 2025 ha rilevato che l’88% delle organizzazioni utilizza ora l’IA in almeno una funzione aziendale. Tuttavia, secondo una ricerca IBM, solo il 24% dispone di solidi quadri di governance dei rischi legati all’IA. Questo divario significa che la maggior parte delle imprese sta implementando la GenAI senza un controllo sufficiente sul comportamento dei modelli, sui dati utilizzati o sulla convalida dei risultati.

In ambienti che non dispongono di una forte governance dell’IA o di controlli sull’utilizzo, la dipendenza della GenAI dai dati e dal contesto la rende una fonte di rischio. I difensori devono adeguarsi di conseguenza.

Rischi per la sicurezza della GenAI che le aziende devono affrontare

Ecco le principali categorie di rischio che le aziende devono comprendere:

Esposizione dei dati attraverso prompt e output

I dipendenti o i collaboratori possono condividere accidentalmente informazioni sensibili, come codice sorgente, dati dei clienti, documenti finanziari o strategie interne, quando utilizzano strumenti di IA pubblici o non gestiti. Una volta inviati, questi dati potrebbero essere archiviati, riutilizzati per la formazione o comunque conservati oltre l’uso previsto.

Questi rischi sono reali: alcune aziende hanno visto dati interni apparire in grandi modelli linguistici (LLM) pubblici molto tempo dopo l’invio. Spesso i lavoratori hanno buone intenzioni: cercano aiuto per scrivere o eseguire il debug, inconsapevoli dei rischi di un’esposizione a lungo termine. Tuttavia, per le organizzazioni che già affrontano rischi interni, GenAI crea un nuovo modo per la fuga di dati, guidato dalla convenienza, dalla mancanza di consapevolezza o da controlli deboli.

Avvelenamento dei modelli e dati di addestramento corrotti

Gli aggressori possono manipolare i set di dati di addestramento o di fine-tuning per influenzare i risultati dell’IA. Inserendo dati dannosi o fuorvianti, possono indurre i modelli a generare raccomandazioni distorte, errate o non sicure.

I modelli ottimizzati o addestrati internamente sono particolarmente vulnerabili. I modelli avvelenati potrebbero divulgare informazioni interne sensibili, come percorsi di file, modelli o dettagli dell’infrastruttura, senza essere rilevati per mesi. Ciò li rende una minaccia sottile ma di grande impatto.

Ingegneria sociale automatizzata su larga scala

La GenAI sta trasformando l’ingegneria sociale automatizzando attività che un tempo richiedevano molto tempo. Gli aggressori possono ora creare rapidamente campagne di phishing, spear phishing, business email compromise (BEC) e impersonificazione con un livello di personalizzazione molto maggiore. Le campagne assistite dall’IA possono:

• Personalizzare i messaggi per individui o ruoli specifici, come team finanziari, personale delle risorse umane o dirigenti
• Produrre e-mail convincenti e grammaticalmente corrette che aggirano i filtri di base
• Operare in più lingue e adattarsi alle norme regionali, ampliando la portata

Ciò che un tempo richiedeva uno sforzo significativo ora può essere eseguito con poche semplici istruzioni. Ciò consente agli avversari di testare, perfezionare e scalare rapidamente gli attacchi. La threat intelligence di Proofpoint conferma che gli aggressori utilizzano sempre più spesso l’intelligenza artificiale in questo modo, rendendo il social engineering più veloce, furtivo ed efficace che mai.

Deepfake e attacchi di identità sintetica

Oltre al testo, gli strumenti GenAI ora rendono relativamente facile produrre contenuti audio, video o immagini sintetici convincenti. I deepfake che imitano voci o volti rappresentano una seria minaccia quando l’impersonation viene utilizzata per autorizzare azioni sensibili.

Immagina scenari come:

• Un truffatore che utilizza una clip audio sintetica di un amministratore delegato per istruire un dipendente del reparto finanziario ad autorizzare un bonifico bancario
• Un video falso di un dirigente che richiede modifiche urgenti alle buste paga o ai pagamenti dei fornitori

Questi attacchi di identità sintetica minano la fiducia nelle comunicazioni digitali e mettono in discussione i sistemi di verifica tradizionali. Per le organizzazioni che si affidano a chiamate vocali, videoconferenze o controlli di identità a distanza, i deepfake creano una nuova e pericolosa dimensione di rischio.

Allucinazioni e risultati errati

I modelli GenAI non sono infallibili. Possono produrre contenuti plausibili e convincenti, ma falsi o fuorvianti, le cosiddette allucinazioni.

In molti casi, queste “risposte” possono sembrare affidabili. Possono includere saggi ben scritti, bozze di politiche o spiegazioni tecniche. Ma se prese per buone senza verifica, possono portare a gravi errori:

• Infrastruttura configurata in modo errato o implementazione di codice basata su consigli errati
• Errori di conformità o legali dovuti a una rappresentazione imprecisa delle normative o degli standard
• Disinformazione condivisa pubblicamente o internamente, con conseguente danno alla reputazione

Poiché i risultati di GenAI possono apparire raffinati e autorevoli, c’è il rischio che i dipendenti li considerino come fatti, soprattutto sotto pressione o con vincoli di tempo.

Prompt injection e manipolazione dei risultati

Man mano che GenAI viene integrata negli strumenti aziendali (ChatOps, assistenti, generazione di documenti e report), si trova ad affrontare un nuovo vettore di attacco: il prompt injection.

Il prompt injection nasconde istruzioni dannose nel testo di input, nei documenti o nei contenuti web, inducendo i sistemi di IA a compiere azioni non intenzionali. Ad esempio:

• Un PDF dannoso potrebbe indurre un assistente IA a divulgare dati sensibili.
• Un documento interno compromesso potrebbe indurre un’IA a bypassare i controlli di policy o ad alterare il testo di conformità.

Ancora più pericoloso è l’indirect prompt injection, in cui gli aggressori incorporano comandi nascosti nei contenuti di uso quotidiano, come e-mail, allegati, metadati o pagine web elaborati dai sistemi di IA. Gli autori delle minacce stanno già utilizzando questa tecnica per dirottare gli assistenti AI. Una singola e-mail o un singolo documento dannoso può attivare istruzioni nascoste, causando fughe di dati o azioni non autorizzate senza alcun codice di exploit visibile.

Poiché l’intelligenza artificiale tratta tutto il testo immesso come input affidabile, questi attacchi possono aggirare i tradizionali filtri di sicurezza e creare una nuova potente superficie di attacco per le aziende che utilizzano l’intelligenza artificiale.

Eccessiva dipendenza dall’intelligenza artificiale per le decisioni aziendali critiche

La GenAI offre vantaggi allettanti, come velocità, scalabilità e automazione. Tuttavia, quando le aziende fanno ampio affidamento sulla GenAI per decisioni critiche come il controllo degli accessi, le approvazioni finanziarie, la classificazione degli incidenti o le revisioni di conformità, possono emergere pericolose dipendenze.

Se i risultati generati dall’IA vengono accettati senza revisione umana:

• Gli errori dell’IA potrebbero consentire un accesso improprio.
• Risultati fraudolenti o dannosi potrebbero essere approvati automaticamente. Ciò può includere fatture false di fornitori o richieste di modifica false.
• Le decisioni basate su informazioni AI inventate o distorte potrebbero danneggiare la fiducia nei sistemi o causare problemi di conformità.

In sostanza, l’utilizzo dell’AI come scorciatoia piuttosto che come strumento con misure di sicurezza espone le aziende a rischi, non solo da parte di aggressori esterni, ma anche dall’automazione stessa, se imperfetta.

Esempi reali di abuso o malfunzionamento della GenAI

Ecco alcuni scenari realistici che illustrano perché i rischi della GenAI devono essere presi sul serio:

Esempio 1: phishing su larga scala generato dall’IA

Gli aggressori raccolgono informazioni disponibili pubblicamente su un obiettivo: nomi dei dirigenti, ruoli finanziari, fornitori e comunicati stampa. Utilizzando la GenAI, creano decine di e-mail di phishing altamente personalizzate in più lingue. Ogni messaggio appare legittimo, facendo riferimento a progetti, fatture o fornitori reali. La generazione automatizzata consente agli aggressori di testare rapidamente oggetti, formulazioni e tempistiche. Quando i difensori rilevano attività anomale, più account potrebbero essere già stati compromessi.

Esempio 2: voce deepfake utilizzata per frodi

Un dipendente dell’ufficio contabilità riceve una chiamata da qualcuno che afferma di essere il direttore finanziario (CFO). La voce è sintetica ma convincente e la richiesta sembra urgente. Al dipendente viene chiesto di trasferire fondi a un “fornitore di fiducia”. Credendo che la chiamata sia autentica, il trasferimento viene completato. Indagini successive rivelano che la voce era generata dall’intelligenza artificiale. Questa tecnica aggira i filtri delle e-mail e sfrutta la fiducia nel riconoscimento umano.

Esempio 3: fuga di dati sensibili tramite condivisione di prompt

Un ingegnere software incolla un codice interno contenente chiavi API, indirizzi di server e dati utente in un assistente AI pubblico o semi-pubblico per accelerare il debug. L’AI restituisce un codice migliorato, ma i dati sensibili originali vengono conservati nei log o nelle cache. Mesi dopo, gli audit di sicurezza rivelano chiavi esposte o dettagli dell’infrastruttura. Ciò dimostra il rischio della “Shadow AI” in assenza di controlli aziendali.

Esempio 4: modello ottimizzato compromesso distribuito internamente

Un assistente AI interno viene ottimizzato utilizzando una combinazione di dati proprietari e di terze parti. Alcuni dati di terze parti contengono prompt dannosi o distorti. Una volta distribuito, l’assistente produce output dannosi o imprecisi: divulgazione di percorsi interni, istruzioni fuorvianti o esposizione di infrastrutture sensibili. Gli utenti considerano questi output affidabili e le pratiche errate possono diffondersi tra i reparti prima di essere individuate.

Perché questi rischi sono importanti per i team di sicurezza e IT

I rischi derivanti dalla GenAI sono reali e di vasta portata. Modelli difettosi o manipolati possono interrompere i flussi di lavoro, causare tempi di inattività e aumentare i costi operativi. I dati sensibili inseriti negli strumenti di IA possono anche creare rischi di conformità e privacy, soprattutto in settori regolamentati come la finanza, la sanità e la difesa.

Un altro motivo di preoccupazione è il danno finanziario. I deepfake, il phishing assistito dall’IA e le identità sintetiche possono portare a frodi, transazioni non autorizzate e costosi interventi di recupero. L’esposizione pubblica di incidenti legati all’IA può danneggiare ulteriormente la reputazione del marchio e minare la fiducia dei clienti, dei partner e delle autorità di regolamentazione.

Queste sfide sono spesso legate al comportamento umano. I dipendenti che utilizzano in modo improprio gli strumenti GenAI, consapevolmente o meno, possono creare rischi interni. Anche i software as a service (SaaS) e le applicazioni di IA non monitorati potrebbero aprire nuove vie per la perdita di dati o la violazione delle politiche.

In definitiva, la GenAI amplia la superficie di attacco, accelera i potenziali abusi e abbassa la barriera per gli autori delle minacce. I team di sicurezza e IT devono rispondere con un approccio incentrato sull’uomo e consapevole del comportamento che affronti sia i rischi tecnici che quelli umani.

Migliori pratiche per mitigare i rischi di sicurezza della GenAI

Sebbene le sfide della GenAI siano significative, lo sono anche le difese, molte delle quali possono essere implementate oggi dalle aziende. Di seguito sono riportati alcuni passaggi pratici e attuabili che i CISO e i responsabili IT possono seguire per iniziare a controllare questi rischi.

Implementare controlli dei dati e misure di protezione intorno ai prompt

• Sviluppa e applica una politica chiara che definisca quali tipi di dati possono (e non possono) essere inseriti negli strumenti GenAI. Le categorie vietate dovrebbero includere il codice sorgente con segreti, i dati dei clienti, i documenti strategici interni e i dati personali regolamentati.
• Utilizza Data Loss Prevention (DLP) o strumenti simili per monitorare, bloccare o segnalare i tentativi di inviare dati sensibili a strumenti di Shadow AI non gestiti.
• Privilegia piattaforme AI di livello aziendale che supportano l’anonimizzazione dei prompt, la rimozione dei metadati e la trasparenza sulle pratiche di conservazione o registrazione dei dati.

Limitando ciò che viene inserito nei modelli GenAI, le organizzazioni riducono il rischio di esposizione accidentale o dolosa dei dati.

Monitorare l’utilizzo dell’AI nelle piattaforme di posta elettronica, cloud e collaborazione

L’utilizzo della GenAI rappresenta una nuova superficie comportamentale che deve essere visibile ai team di sicurezza. Per ottenere il controllo:

• Includere i dati provenienti dagli strumenti di IA, compresi gli invii di prompt, i record di output e l’attività dei plugin, nei sistemi che monitorano il comportamento degli utenti.
• Prestare attenzione ai modelli anomali: uso frequente di servizi GenAI pubblici, upload di grandi quantità di documenti interni o invii ripetuti di codice o di tipo forum.
• Ampliare il monitoraggio dei rischi interni e dell’uso del cloud per includere le attività basate sull’IA.

La visibilità è il primo passo verso il controllo.

Convalidare e sanificare input e output

Tratta sia gli input dei modelli di IA che i loro output come non affidabili fino a quando non sono stati verificati manualmente o correttamente sanificati. Nello specifico:

• Sanifica i file o il testo in entrata per rimuovere potenziali istruzioni incorporate, macro o prompt nascosti.
• Richiedi una revisione umana per gli output generati dall’IA, soprattutto se influenzano decisioni sensibili, documenti di conformità o configurazioni.
• Ove possibile, convalida gli output attraverso fonti alternative o strumenti indipendenti.

Questi passaggi aiutano a prevenire il prompt injection, la manipolazione incorporata o l’esecuzione involontaria di contenuti dannosi.

Applicare il principio del privilegio minimo e controlli di accesso alle integrazioni AI

Gli strumenti GenAI spesso si integrano con altri sistemi interni, come archivi di dati, API e piattaforme cloud. Per limitare il raggio d’azione:

• Applicare il controllo degli accessi basato sui ruoli (RBAC) per le integrazioni abilitate dall’AI. Concedere solo i privilegi minimi necessari.
• Verificare regolarmente le autorizzazioni e controllare a quali sistemi possono accedere gli strumenti AI.
• Evitare di concedere ai connettori AI un ampio accesso a dati sensibili o sistemi ad alto impatto, a meno che non sia assolutamente necessario.

Limitare l’accesso riduce il potenziale danno, anche se un componente AI viene compromesso o utilizzato in modo improprio.

Formare i dipendenti sull’uso sicuro dell’AI

L’elemento umano è ancora la parte più importante della difesa. Per creare una prima linea di protezione efficace:

• Fornisci ai dipendenti indicazioni chiare su ciò che possono e non possono fare con gli strumenti GenAI.
• Includi l’uso dell’IA nella formazione esistente in materia di sicurezza e conformità attraverso programmi di security awareness training. Ciò dovrebbe riguardare la gestione sicura, la classificazione dei dati e le procedure di verifica.
• Istruisci i team sui rischi di errori dell’IA, manipolazione, deepfake e eccessiva dipendenza dai risultati dell’IA.
• Promuovi una cultura del “verificare prima, fidarsi dopo”.

I dipendenti ben informati sono meno propensi a commettere errori costosi o a divulgare accidentalmente informazioni sensibili.

Costruisci una governance intorno alle implementazioni dell’IA

Una sicurezza sostenibile si basa su politiche solide, processi chiari e una supervisione continua. Le aziende dovrebbero:

• Mantenere un inventario aggiornato di tutti gli strumenti e le integrazioni GenAI.
• Stabilire chiari passaggi di approvazione prima di implementare nuovi strumenti, servizi o plugin di IA.
• Mantenere una supervisione continua attraverso regolari revisioni di sicurezza, esercitazioni di red teaming e valutazioni del comportamento dei modelli.
• Assegnare chiare responsabilità per la classificazione dei dati, le politiche di utilizzo dei prompt, la revisione dei risultati e la risposta agli incidenti.

Questo approccio trasforma l’IA da una risorsa rischiosa e sconosciuta in una risorsa gestibile, consentendo l’innovazione pur mantenendo il controllo.

Un piano di 30 giorni per rafforzare la sicurezza GenAI

Di seguito è riportata una roadmap pratica per iniziare a rafforzare la sicurezza GenAI.

Settimana 1: inventario degli strumenti IA e del loro utilizzo

• Identificare tutti gli strumenti GenAI (sia autorizzati che non autorizzati) attualmente in uso nell’organizzazione.
• Mappare chi utilizza tali strumenti, quali tipi di dati gestiscono e come si integrano con altri sistemi.

Settimana 2: applicare controlli sui dati e privilegi minimi

• Definire e pubblicare le politiche di utilizzo dell’IA.
• Configurare DLP o controlli equivalenti per bloccare o segnalare l’invio di dati rischiosi.
• Valutare lo stato di sicurezza dei dati e rafforzare le pratiche di governance dei dati prima di implementare strumenti di IA aziendali come M365 Copilot.
• Rivedere e rafforzare le autorizzazioni per le integrazioni abilitate dall’AI.

Settimana 3: implementare il monitoraggio e l’analisi comportamentale

• Integrare la registrazione dell’utilizzo dell’AI nelle piattaforme di telemetria di sicurezza e di minaccia interna esistenti.
• Stabilire un comportamento di base, ovvero come dovrebbe essere un utilizzo “normale” dell’AI, e definire avvisi per le anomalie.

Settimana 4: eseguire test red team e implementare la governance

• Testare potenziali minacce, come il prompt injection, la fuga di dati attraverso l’AI o gli attacchi che utilizzano identità false.
• Rivedere i framework di governance, inclusi i processi di approvazione, i registri dei modelli e l’assegnazione delle responsabilità.
• Fornire ai dipendenti sessioni di formazione o sensibilizzazione specifiche sull’IA.

Il completamento di questa roadmap in 30 giorni non eliminerà tutti i rischi. Tuttavia, ridurrà drasticamente la superficie di attacco e metterà in atto le difese prima che si verifichi un incidente reale.

Come Proofpoint può aiutarti a proteggere gli ambienti GenAI

La GenAI può essere rischiosa, ma può anche essere sicura con il giusto approccio. Proofpoint utilizza una strategia incentrata sull’uomo e attenta al comportamento per aiutare le organizzazioni a proteggere i propri strumenti e dati di IA.

Aiutiamo in questo modo:

• Individuando l’uso della Shadow AI per fermare le fughe di dati
• Rafforzando la sicurezza dei dati e automatizzando la governance dei dati IA
• Controllando i prompt e i contenuti alla ricerca di attività dannose o non sicure
• Monitorare le integrazioni AI su piattaforme di posta elettronica, cloud e collaborazione per prevenire un uso improprio
• Rilevare minacce legate all’AI, come phishing, deepfake e identità false

Con Proofpoint, l’AI diventa uno strumento sicuro, non un rischio. Sei pronto a proteggere la tua strategia AI con fiducia? Scarica la guida Securing and Governing AI Data per scoprire come Proofpoint aiuta le organizzazioni a proteggere i dati nei flussi di lavoro basati sull’AI.