Qu'est-ce que la sécurité de l'IA ?

La sécurité de l'IA protège votre entreprise contre les risques introduits par l'intelligence artificielle. Elle se concentre sur la sécurisation des systèmes d'IA, la prévention de l'exposition des données et le blocage des attaques pilotées par l'IA. L'IA faisant désormais partie du travail quotidien, comprendre ces risques et comment les contrôler est essentiel pour les équipes de sécurité des entreprises.

La sécurité de l'IA est un ensemble de pratiques et de contrôles qui protègent les systèmes d'IA et l'utilisation de l'IA en entreprise. Elle aide les équipes de sécurité à empêcher la manipulation de modèles, l'injection d'invites, l'empoisonnement de données, l'exposition de données sensibles, le Shadow AI, l'utilisation abusive d'agents d'IA et les attaques basées sur l'IA.

La sécurité de l'intelligence artificielle couvre l'intégralité du cycle de vie de l'IA. Elle englobe les données d'entraînement, le développement de modèles, les pipelines de modèles, les API, les invites, les résultats, les agents d'IA et les workflows d'entreprise qui en dépendent.

La sécurité de l'IA inclut également l'utilisation sécurisée des outils de cybersécurité optimisés par l'IA. Ces outils peuvent aider à détecter les menaces, à analyser les risques, à trier les alertes et à améliorer la réponse, mais ils nécessitent toujours une gouvernance et une supervision humaine.

L'IA soutient désormais le recrutement, la détection de fraudes, le service client, le développement de logiciels, les opérations de sécurité et les décisions de la chaîne logistique. Lorsque ces systèmes tombent en panne ou sont manipulés, cela peut donner lieu à une fuite de données, de mauvaises décisions, une exposition juridique, des perturbations opérationnelles et une perte de confiance.

L'IA générative change également la façon dont les collaborateurs utilisent les données dans le cadre de leur travail. Un utilisateur peut coller du code source, des contrats, des dossiers clients, des données financières ou des documents stratégiques dans un outil d'IA public pour gagner du temps.

Les copilotes d'IA et les agents d'IA peuvent créer une autre voie d'exposition. Si les autorisations sont trop étendues, elles peuvent conduire à la récupération de fichiers sensibles, au résumé de contenus soumis à des restrictions ou à l'exécution d'actions dans des systèmes que l'utilisateur n'est pas censé contrôler.

Les cybercriminels utilisent l'IA pour rédiger des leurres plus efficaces, personnaliser le phishing, cloner des voix, automatiser la reconnaissance et tester des variantes de malwares. Cela a pour effet d'augmenter la vitesse et l'ampleur des attaques à l'encontre des utilisateurs, pas seulement des systèmes.

La sécurité de l'IA couvre trois domaines liés : la protection des systèmes d'IA, la sécurisation de la manière dont les gens utilisent l'IA et l'utilisation de l'IA pour améliorer la cybersécurité.

1. Protection des systèmes d'IA

Cette dimension protège les modèles d'IA, les données d'entraînement, les pipelines de modèles, les API, les systèmes d'inférence, les applications d'IA et l'infrastructure d'IA. L'objectif est d'empêcher les cybercriminels de manipuler les modèles, de voler la propriété intellectuelle, de corrompre les données ou d'utiliser les résultats de l'IA de manière abusive.

Les contrôles courants comprennent le développement de modèles sécurisés, la validation des données, le contrôle des accès, la surveillance des modèles, les vérifications des entrées et des sorties et les tests contre des risques tels que l'empoisonnement des données, l'injection d'invites, les attaques antagonistes et la compromission de la chaîne logistique.

2. Sécurisation de l'utilisation de l'IA

Cette dimension régit la manière dont les collaborateurs, les sous-traitants, les copilotes, les extensions de navigateur et les agents d'IA utilisent les outils d'IA. Elle se concentre sur les applications approuvées, le Shadow AI, les données sensibles contenues dans les invites, les résultats générés par l'IA et les autorisations des agents.

Les équipes de sécurité ont besoin d'une visibilité sur les personnes qui utilisent l'IA, les données qui sont injectées dans les outils, les résultats obtenus et la conformité de ces actions aux règles. Sans une telle visibilité, des fuites de données liées à l'IA peuvent se produire en dehors du contrôle normal de la sécurité.

3. Utilisation de l'IA pour améliorer la cybersécurité

Utilisez l'IA pour détecter le phishing, identifier les anomalies, enrichir la threat intelligence, classer les données sensibles, trier les alertes et soutenir la réponse aux incidents. La cybersécurité basée sur l'IA devrait améliorer la vitesse d'intervention des analystes sans supprimer la supervision humaine là où elle s'avère essentielle.

Les principaux risques de sécurité de l'IA concernent les modèles, les données, les invites, les résultats, les utilisateurs, les éditeurs de solutions et les agents d'IA. Les équipes de l'entreprise doivent traiter ces risques comme faisant partie du programme de sécurité fondamental, et non comme un problème de recherche distinct.

Empoisonnement des données

On parle d'empoisonnement des données lorsque des cybercriminels altèrent les données d'entraînement, les données d'optimisation ou les boucles de rétroaction pour influencer le comportement du modèle. Un modèle empoisonné peut faire des recommandations dangereuses, dissimuler des activités malveillantes ou produire des décisions biaisées à grande échelle.

Injection d'invites 

L'injection d'invites utilise des invites malveillantes, des instructions cachées ou un contenu hostile pour outrepasser le comportement prévu d'un système d'IA. Il peut amener un modèle à ignorer les garde-fous, à révéler des données sensibles ou à appeler des outils de manière non sécurisée. Consultez le guide de Proofpoint consacré aux attaques par injection d'invites pour en savoir plus.

Attaques antagonistes

Les attaques antagonistes utilisent des entrées spécialement conçues pour amener un modèle à classer incorrectement du contenu, à passer à côté de menaces ou à produire des résultats erronés. Dans les systèmes antifraude ou contenant des images, des textes ou de l'audio, de petites modifications peuvent conduire à de grosses erreurs à l'heure de prendre des décisions.

Vol de modèles et rétro-ingénierie 

On parle de vol de modèles lorsque des cybercriminels extraient le comportement, les paramètres ou la logique de modèles propriétaires au moyen de requêtes répétées ou de fichiers exposés. Le résultat peut être un vol de propriété intellectuelle, la copie de services ou un contournement plus facile des contrôles de sécurité.

Exposition de données sensibles 

Une exposition de données sensibles se produit lorsque les utilisateurs saisissent des données confidentielles dans des outils d'IA, lorsque les systèmes d'IA récupèrent des fichiers soumis à des restrictions ou lorsque les résultats révèlent des informations privées ou réglementées. Une protection robuste des données d'IA aide les équipes à voir et à contrôler ces interactions.

Shadow AI 

Le Shadow AI est l'utilisation d'outils d'IA non approuvés en dehors de la surveillance des équipes informatique et de sécurité. Il peut s'agir de comptes d'IA personnels, de modules d'extension de navigateur non approuvés, d'applications d'IA au niveau du département et d'outils tiers qui traitent des données de l'entreprise.

La visibilité constitue le principal problème. Les équipes de sécurité ne peuvent pas appliquer de règles, auditer l'utilisation ou empêcher les fuites de données dans des outils d'IA dont elles ignorent l'existence.

Risques liés à l'IA pesant sur la chaîne logistique

Les risques liés à l'IA qui pèsent sur la chaîne logistique découlent des modèles tiers, des modèles open-source, des ensembles de données, des bibliothèques, des modules d'extension, des API et des services cloud utilisés pour élaborer ou exécuter les systèmes d'IA. Un composant compromis peut introduire des faiblesses cachées dans le cycle de vie de l'IA.

Dérive et dégradation du modèle 

On parle de dérive de modèle lorsque les données du monde réel changent et qu'un modèle commence à fonctionner différemment de sa base de référence initiale. La dégradation du modèle peut réduire la fiabilité, augmenter le nombre de faux positifs ou générer des résultats non fiables au fil du temps.

Risques liés aux agents d'IA

Les agents d'IA peuvent effectuer des actions dans les emails, les fichiers, les systèmes de gestion des tickets, les référentiels de code, les bases de données et les outils cloud. De ce fait, les autorisations excessives, la journalisation lacunaire, les contrôles déficients des outils et le manque de supervision humaine constituent autant de risques majeurs.

La sécurité de l'IA est indissociable de la cybersécurité. Elle étend la cybersécurité pour prendre en charge les risques créés par les modèles d'IA, les applications d'IA, les pipelines de données d'IA, les résultats générés par l'IA et l'utilisation de l'IA en entreprise.

Détection des menaces et des anomalies 

L'IA peut analyser de grands volumes de données de sécurité afin de détecter tout comportement anormal des utilisateurs, des terminaux, des réseaux et des applications cloud. Elle aide les équipes à repérer des schémas qui peuvent échapper à un examen manuel en raison de leur subtilité ou de leur rapidité.

Détection du phishing et de l'ingénierie sociale 

L'IA peut aider à détecter le langage suspect, le comportement de l'expéditeur, les schémas d'usurpation d'identité, les liens malveillants et tout contexte inhabituel du message. C'est important car les cybercriminels utilisent l'IA pour rendre les emails de phishing plus convaincants. 

Analyse des malwares et de la threat intelligence 

L'IA peut regrouper les indicateurs, enrichir les alertes, résumer les campagnes et comparer les nouvelles activités aux schémas de menaces connus. Les analystes peuvent ainsi passer plus rapidement de la télémétrie brute à un contexte utile.

Automatisation de la sécurité et réponse aux incidents 

L'IA peut résumer les alertes, recommander les étapes suivantes, rédiger des notes sur les incidents et aider à transférer les cas à l'équipe adéquate. Elle doit soutenir les analystes, pas remplacer le jugement final en cas d'incidents à haut risque.

Protection des données et détection des risques liés aux utilisateurs 

L'IA peut aider à classer les données, à détecter les accès inhabituels et à signaler les comportements à risque des utilisateurs susceptibles d'entraîner une exposition. De telles fonctionnalités sont utiles lorsque les collaborateurs utilisent des outils d'IA au niveau de la messagerie électronique, du cloud et des canaux de collaboration.

Pour sécuriser les systèmes d'IA, commencez par assurer la visibilité, puis appliquez des contrôles qui protègent les données, limitent les accès, valident les comportements et surveillent l'utilisation au fil du temps.

Dressez un inventaire de l'IA 

Suivez les systèmes d'IA connus, les outils approuvés, le Shadow AI, les modèles, les API, les agents d'IA, les sources de données, les éditeurs de solutions et les propriétaires d'entreprise. Un inventaire identifie les ressources existantes, l'endroit où elles s'exécutent, les données auxquelles elles ont accès et leur responsable.

Protégez les données d'entraînement et les pipelines de modèles

Validez la provenance des données, restreignez l'accès aux ensembles de données, surveillez les modifications et soyez attentif à toute tentative de piratage. Le développement de modèles sécurisés doit inclure le contrôle des versions, des workflows d'approbation et l'examen des composants tiers.

Validez les entrées et les sorties

Utilisez le filtrage des invites, la validation des entrées, la surveillance des sorties et des garde-fous liés aux règles. Ces contrôles réduisent la probabilité que des invites malveillantes, des données empoisonnées ou des réponses non fiables affectent les utilisateurs ou les systèmes en aval.

Surveillez les systèmes d'IA en continu

Surveillez les dérives, les utilisations abusives, les requêtes anormales, les modifications des performances, les schémas d'abus et les résultats inattendus. Le suivi continu aide les équipes à détecter les risques après le déploiement, lorsque le comportement de l'IA peut changer.

Régissez l'accès aux outils d'IA 

Mettez en place des accès basés sur les rôles, le principe du moindre privilège, la journalisation et des workflows d'approbation. Les agents d'IA nécessitent une attention particulière car ils peuvent agir sur les systèmes, et pas seulement répondre à des questions.

Empêchez l'exposition de données sensibles 

Utilisez la classification des données, la surveillance des invites, l'application des règles et les contrôles DLP d'entreprise pour empêcher l'injection de données confidentielles ou réglementées dans des outils d'IA non sécurisés. Ces fonctionnalités doivent couvrir les outils approuvés, les outils publics, les copilotes, les extensions de navigateur et les agents.

Effectuez des simulations pour des menaces spécifiques à l'IA 

Effectuez des simulations d'attaque, des tests antagonistes, des tests d'injection d'invites, des évaluations des modèles et des tests de cas d'abus. Testez le modèle, l'application, les outils connectés et le workflow de l'utilisateur.

La sécurité de l'IA nécessite une gouvernance, pas uniquement des contrôles techniques. Les équipes doivent définir l'utilisation acceptable de l'IA, désigner des responsables, documenter les décisions et créer des pistes d'audit pour les systèmes qui traitent des données sensibles ou des workflows à fort impact.

Règles d'utilisation acceptable de l'IA 

Des règles d'utilisation acceptable de l'IA doivent indiquer quels outils les collaborateurs peuvent utiliser, quelles données ils peuvent saisir et quels résultats de l'IA nécessitent un examen. Elles doivent couvrir les outils d'IA générative publics, les copilotes, les agents, les extensions de navigateur et les services tiers.

Gestion des risques liés à l'IA 

La gestion des risques liés à l'IA identifie, évalue, atténue et surveille les risques qui pèsent sur les collaborateurs, les systèmes, les modèles, les éditeurs de solutions et les données. Les équipes de sécurité doivent donner la priorité aux cas d'utilisation de l'IA qui traitent des données sensibles ou prennent des décisions importantes.

Conformité de l'IA et préparation aux audits

La préparation aux audits dépend des journaux, de la documentation, de l'explicabilité, des enregistrements d'accès, des évaluations des éditeurs de solutions et des contrôles du traitement des données. Les équipes doivent pouvoir montrer ce qu'un système d'IA a fait, quelles données il a utilisées et qui l'a approuvé.

IA responsable et sécurité 

L'IA responsable et la sécurité de l'IA se recoupent, mais représentent toutefois deux concepts différents. L'IA responsable se concentre sur l'utilisation sûre, équitable, transparente et redevable, tandis que la sécurité de l'IA met l'accent sur la prévention des utilisations abusives, des manipulations, des expositions et des attaques.

Des cadres tels que le cadre de gestion des risques liés à l'IA du NIS, les recommandations en matière de sécurité de l'IA de l'OWASP et les recommandations en matière d'IA de la CISA/NSA peuvent aider à structurer les contrôles. Utilisez-les pour guider l'implémentation, et non comme un substitut à la visibilité et à l'application des règles.

Gestion de la posture de sécurité de l'IA 

La gestion de la posture de sécurité de l'IA aide les équipes à découvrir les ressources d'IA, à cartographier les flux de données, à identifier les erreurs de configuration et à évaluer les risques à travers les modèles, les applications, les agents et l'infrastructure.

Sécurité des agents d'IA

La sécurité des agents d'IA vise à assurer la sécurité, la prévisibilité et le contrôle des systèmes autonomes lorsqu'ils effectuent des actions sur des systèmes réels. Attendez-vous à ce que les autorisations, l'accès aux outils, la journalisation et l'approbation humaine fassent l'objet d'une plus grande attention.

Garde-fous de l'IA

Les garde-fous de l'IA sont des contrôles qui maintiennent le comportement, les entrées, les sorties et les actions de l'IA dans les limites fixées par les règles. Il peut notamment s'agir de règles pour les invites, de filtres des réponses, de restrictions de données et d'exigences en matière d'approbation.

Sécurité de la chaîne logistique de l'IA

La sécurité de la chaîne logistique de l'IA sera de plus en plus importante à mesure que les équipes s'appuient sur des modèles tiers, des composants open-source, des ensembles de données, des modules d'extension et des API. La provenance, la validation et la surveillance des dépendances deviendront des contrôles fondamentaux.

Automatisation de la gouvernance de l'IA

L'automatisation de la gouvernance peut aider à appliquer les règles, à surveiller les interactions avec l'IA, à signaler les violations et à soutenir la préparation aux audits. Elle transforme les règles en matière d'IA en contrôles opérationnels.

Menaces optimisées par l'IA

Les menaces optimisées par l'IA vont continuer à améliorer les attaques de phishing, d'usurpation d'identité, de deepfake, de reconnaissance automatisée et d'ingénierie sociale. Les programmes de sécurité doivent partir du principe que les attaques deviendront plus personnalisées et plus difficiles à détecter.

Proofpoint aide les entreprises à réduire les risques liés à l'IA en protégeant les collaborateurs, les données et les interactions avec l'IA dans toute l'entreprise. Les équipes de sécurité peuvent utiliser Proofpoint pour obtenir une visibilité sur l'utilisation de l'IA, réduire l'exposition des données sensibles, soutenir une utilisation acceptable de l'IA générative et se protéger contre les menaces optimisées par l'IA.

Proofpoint AI Security est conçu pour l'utilisation de l'IA en entreprise, que ce soit par les collaborateurs, les agents ou les systèmes connectés. Il aide les équipes à découvrir les activités de l'IA, à appliquer les règles en temps réel et à créer des pistes d'audit pour les interactions entre collaborateurs et agents.

Proofpoint Proofpoint Data Security for AI aide les équipes à surveiller et à contrôler les données sensibles dans les invites, les chargements et les réponses de l'IA générative à travers les outils d'IA approuvés et non approuvés. Il soutient une adoption plus sûre de l'IA en aidant les équipes à réduire l'exposition sans imposer d'interdiction générale de l'IA.

Proofpoint Agentic AI Security aide à gouverner le comportement des agents d'IA grâce à l'observabilité en temps réel, à la surveillance des comportements et à des contrôles basés sur l'intention. Proofpoint AI MCP Security aide à appliquer l'authentification et l'inspection du contenu à la frontière du protocole MCP et prend en charge un registre de serveurs approuvé.

Ensemble, ces fonctionnalités aident les entreprises à gérer les risques liés aux utilisateurs et aux données qui compliquent la gouvernance de l'IA en entreprise. L'objectif n'est pas de freiner l'adoption de l'IA. Il est de donner aux équipes la visibilité et le contrôle dont elles ont besoin pour utiliser l'IA en toute confiance.