Comment réduire les risques de sécurité liés à l'IA générative et prévenir les fuites de données

Les risques de sécurité posés par l'IA générative sont les façons dont les modèles d'IA générative et les applications pilotées par l'IA peuvent exposer des données sensibles, produire des résultats dangereux ou trompeurs, ou être manipulés par des cyberpirates. Les risques émergent le plus souvent par le biais des invites, des réponses de l'IA, des données d'entraînement, des données de récupération, des modules d'extension, des API et des connexions aux applications SaaS, à la messagerie électronique, aux services cloud et aux outils de collaboration.

Contrairement aux risques traditionnels liés à l'IA, les risques de sécurité posés par l'IA générative commencent souvent par le comportement quotidien des utilisateurs. Les collaborateurs peuvent coller des informations confidentielles dans un outil d'IA public, se fier à une réponse inexacte ou utiliser un contenu généré par l'IA qui enfreint les règles. Les risques ne se limitent pas au modèle. Ils incluent également les personnes, les données et les workflows qui l'entourent.

Types de systèmes d'IA générative

L'utilisation croissante de l'IA générative élargit la surface de risque des entreprises. Voici certains des outils d'IA générative les plus courants :

Grands modèles de langage (LLM) qui génèrent, résument, traduisent ou analysent du texte en fonction des invites et du contexte des utilisateurs

• Copilotes d'IA qui assistent les utilisateurs dans les outils de productivité, de collaboration, de développement et de sécurité, souvent avec un accès aux données de l'entreprise
• Chatbots et assistants virtuels qui répondent à des questions, automatisent le support ou récupèrent des informations à partir de sources connectées
• Outils de génération de code qui créent, révisent ou transforment des logiciels, ce qui peut introduire des failles de sécurité si le résultat n'est pas testé et vérifié
• Générateurs d'images, de contenus audio et de vidéos qui peuvent créer des contenus synthétiques qui soutiennent les workflows métier, mais qui peuvent également permettre l'usurpation d'identité ou la fraude

Les systèmes d'IA générative utilisent des modèles entraînés sur de grands ensembles de données pour générer de nouveaux contenus. Dans les environnements d'entreprise, les risques peuvent survenir à n'importe quelle étape du workflow d'IA, des invites des utilisateurs et des données d'entreprise aux résultats des modèles et aux systèmes connectés. Les équipes de sécurité doivent sécuriser l'intégralité du workflow d'IA et ses surfaces d'attaque, pas seulement le modèle.

Une interaction typique avec l'IA générative se présente comme suit :

1. Entrée : un utilisateur saisit une invite, charge un fichier, colle du code ou demande à un outil d'IA d'analyser des données métier. Des informations sensibles peuvent être exposées à ce stade si aucun contrôle n'est mis en place.

2. Traitement : le modèle interprète l'invite pendant l'inférence. La génération augmentée par récupération (RAG), les embeddings ou les fenêtres contextuelles peuvent intégrer des données d'entreprise supplémentaires à l'interaction.

3. Résultat : le système d'IA génère du texte, du code, des résumés, des recommandations ou d'autres contenus. Les résultats peuvent être inexacts, enfreindre des règles, être influencés de manière malveillante ou être trop révélateurs.

4. Intégration : les modules d'extension, les API, les copilotes, les navigateurs, la messagerie électronique, le stockage cloud et les intégrations SaaS peuvent étendre ce que le système d'IA peut atteindre ou affecter.

5. Journalisation et conservation : les invites, les résultats, les fichiers et les métadonnées peuvent être stockés à des fins d'audit, d'amélioration ou de résolution de problèmes. Sans gouvernance, ces enregistrements peuvent engendrer une exposition de données supplémentaire.

L'IA générative modifie la façon dont les collaborateurs travaillent, communiquent et prennent des décisions. Cependant, ces gains de productivité engendrent également de nouveaux risques. Une seule invite non sécurisée peut exposer des données réglementées, des éléments de propriété intellectuelle, des informations client ou des détails de sécurité en quelques secondes.

Les fuites de données peuvent être coûteuses. Selon IBM, le coût moyen d'une compromission de données en 2025 s'élevait à 4,44 millions de dollars, tandis que les incidents impliquant des collaborateurs malveillants avoisinaient les 4,92 millions de dollars. En parallèle, les entreprises sont confrontées à des obligations de conformité et à des risques pour la marque croissants. Les compromissions peuvent entraîner des amendes, des audits et des poursuites judiciaires, et les nouvelles réglementations telles que le règlement de l'UE sur l'IA continuent d'accroître la surveillance de la manière dont les entreprises utilisent l'IA.

Parmi les principales raisons pour lesquelles la sécurité de l'IA générative est essentielle pour les entreprises :

Risques humains accrus

De nombreux incidents liés à la sécurité de l'IA ne requièrent pas d'attaques sophistiquées. Ils se produisent lorsque les collaborateurs saisissent des données sensibles dans des outils d'IA non approuvés, se fient à des résultats inexacts ou agissent sur des contenus générés par l'IA sans les vérifier. L'IA peut rendre les risques humains existants plus fréquents et plus coûteux.

Exposition de données à grande échelle

Les collaborateurs utilisent des outils d'IA pour résumer des contrats, analyser des dossiers client, rédiger des emails, déboguer du code et plus encore. Sans visibilité sur la manière dont l'IA est utilisée, des données sensibles peuvent se propager entre les équipes, les applications cloud, les plates-formes de collaboration et les services tiers.

Pression sur la conformité et la gouvernance

Les exigences sectorielles, contractuelles et de confidentialité s'appliquent toujours lorsque les données sont partagées avec des systèmes d'IA. Cela inclut les invites, les fichiers chargés, les résultats des modèles, les journaux et les contenus générés. Les entreprises doivent définir quels outils d'IA les collaborateurs peuvent utiliser, quelles données ils peuvent saisir et quelles activités nécessitent une surveillance ou une vérification humaine.

Les principaux risques de sécurité posés par l'IA générative combinent les faiblesses techniques avec les comportements humains et l'exposition de données. Les responsables de la sécurité doivent prioriser les risques susceptibles d'affecter les workflows réels de l'entreprise.

• Fuites de données et partage excessif : les collaborateurs peuvent coller du code source, des données client, des informations financières, des identifiants de connexion, des détails de fusions et acquisitions ou d'autres contenus sensibles dans des outils d'IA. Ces informations peuvent être stockées, traitées, journalisées ou exposées en dehors des canaux approuvés.

• Attaques par injection d'invites : une attaque par injection d'invites utilise des instructions malveillantes pour manipuler un système d'IA. Ces instructions peuvent être saisies par un utilisateur, cachées dans un document ou un email, intégrées à une page Web ou transmises via un outil connecté.

• Manipulation et empoisonnement de modèles : les cybercriminels peuvent tenter d'influencer les données d'entraînement, les sources de récupération ou le contexte d'un modèle afin que les résultats deviennent biaisés, trompeurs, dangereux ou utiles à des fins d'exfiltration de données.

• Phishing et ingénierie sociale générés par l'IA : les outils d'IA générative peuvent aider les cyberpirates à créer des messages soignés, personnalisés et multilingues à grande échelle. L'IA générative peut également faciliter l'usurpation d'identité, le piratage de la messagerie en entreprise (BEC, Business Email Compromise), les workflows de support frauduleux et les contenus multimédias synthétiques.

• Shadow AI et utilisation non autorisée : les collaborateurs peuvent adopter des outils d'IA grand public, des extensions de navigateur ou des copilotes non approuvés sans supervision de la sécurité. Le Shadow AI réduit la visibilité sur la destination des données et peut contourner les contrôles d'entreprise.

• Résultats inexacts ou non sécurisés : les systèmes d'IA peuvent produire des résultats erronés formulés avec assurance, du code non sécurisé ou des contenus enfreignant les règles. Lorsque les utilisateurs agissent sur la base de ces résultats sans les vérifier, les entreprises peuvent être confrontées à des conséquences opérationnelles, juridiques ou de sécurité.

La sécurité de l'IA générative doit permettre une adoption sûre, et non freiner l'innovation. L'objectif est de donner aux collaborateurs des moyens approuvés d'utiliser l'IA tout en réduisant l'exposition de données, en limitant les comportements à risque et en maintenant le contrôle sur la manière dont l'IA est utilisée. Les bonnes pratiques suivantes peuvent aider.

Mettre en œuvre des contrôles de sécurité des données

Utilisez la prévention des fuites de données (DLP), la gestion de la posture de sécurité des données (DSPM) ou une solution dédiée à la sécurité des données d'IA pour protéger les données sensibles dans les outils approuvés et le Shadow AI. Recherchez des fonctionnalités telles que la classification des données, le masquage, le chiffrement et l'inspection de contenu pour empêcher les informations sensibles d'apparaître dans des invites, des chargements, des sessions de navigateur et des workflows pilotés par l'IA.

Appliquer des règles d'utilisation acceptable

Définissez quels outils d'IA les collaborateurs peuvent utiliser, quelles données ils peuvent saisir, quels rôles peuvent accéder à des fonctionnalités spécifiques et quand une vérification humaine est requise. Les règles doivent être claires, pratiques et applicables.

Surveiller les comportements humains et les signaux de risque

Surveillez que l'IA n'adopte pas des comportements à risque : partage de données sensibles, violations répétées des règles, schémas d'accès inhabituels, exposition à des menaces ciblées, etc. L'analyse comportementale peut aider à identifier les utilisateurs à haut risque et à concentrer les efforts de coaching, d'investigation et d'application des règles.

Découvrir et classer les données sensibles

Analysez les environnements cloud et sur site pour identifier et étiqueter les données sensibles dans les sources de données structurées, semi-structurées et non structurées. Utilisez la classification pour renforcer les règles DLP et réduire le risque que des données sensibles intègrent les workflows d'IA.

Cartographier et visualiser l'accès aux données

Déterminez quelles personnes peuvent accéder aux données sensibles, quand elles y accèdent et comment elles les utilisent. Détectez les activités inhabituelles et appliquez les principes du moindre privilège et du Zero Trust.

Sécuriser les API et les intégrations d'IA

Utilisez une authentification forte, un accès basé sur le principe du moindre privilège, une conception d'API sécurisée, des modules d'extension sur liste d'autorisation et la journalisation pour sécuriser les intégrations d'IA. Les outils d'IA ne doivent avoir accès qu'aux systèmes et aux données nécessaires à leur objectif prévu.

Former les collaborateurs à l'utilisation sécurisée de l'IA

Proposez une formation de sensibilisation à la sécurité basée sur les rôles pour apprendre aux collaborateurs ce qu'ils ne doivent jamais saisir dans des outils d'IA, ainsi que comment vérifier les contenus générés par l'IA, détecter le phishing généré par l'IA et signaler l'utilisation non sûre ou non approuvée de l'IA.

Se préparer aux incidents liés à l'IA

Mettez à jour les plans de réponse aux incidents pour intégrer l'injection d'invites, les fuites de données, les journaux exposés, les intégrations compromises et les contenus malveillants générés par l'IA. Les équipes de sécurité doivent être prêtes à enquêter sur les invites, les résultats, les activités des utilisateurs, les accès aux outils et les mouvements de données.

La sécurité traditionnelle protège les infrastructures, les identités, les endpoints, les réseaux, les applications et les données. La sécurité de l'IA générative doit protéger ces mêmes actifs tout en gérant le comportement des modèles, les invites des utilisateurs, les résultats générés par l'IA et les données circulant dans les workflows d'IA.

Proofpoint aide les entreprises à réduire les risques pour la sécurité des données liés à l'IA générative en protégeant les personnes et les données au cœur de l'adoption de l'IA. Les équipes ont besoin de visibilité sur la manière dont les collaborateurs utilisent les outils d'IA approuvés et le Shadow AI, de contrôles qui empêchent l'exposition de données sensibles et de conseils qui aident les utilisateurs à prendre des décisions plus sûres.

Proofpoint Data Security for AI aide les équipes à surveiller l'utilisation des outils d'IA approuvés et du Shadow AI, à bloquer ou à masquer le contenu sensible dans les invites et les chargements, ainsi qu'à sécuriser les données sans empêcher une adoption sûre de l'IA.

Proofpoint AI Access Security aide les entreprises à découvrir l'utilisation de l'IA, à réduire les risques posés par le Shadow AI, à inspecter les activités, à maintenir une piste d'audit et à appliquer des règles aux interactions avec l'IA.

Combiné avec Proofpoint DLP, Proofpoint DSPM, Proofpoint Insider Threat Management, Proofpoint Core Email Protection et une formation ciblée de sensibilisation à la sécurité, Proofpoint aide les entreprises à protéger les personnes, les données et les workflows pilotés par l'IA.

Demandez une démonstration personnalisée pour en savoir plus sur la façon dont Proofpoint aide à sécuriser les workflows pilotés par l'IA et à réduire les risques liés à l'IA d'origine humaine.