« Perspectives d'ingénierie » est une série d'articles de blog offrant un aperçu des coulisses des défis techniques, des enseignements et des avancées qui aident nos clients à protéger leurs collaborateurs et leurs données au quotidien. Dans les articles qu'ils rédigent, nos ingénieurs expliquent le processus qui a conduit à une innovation Proofpoint.
En matière de détection des menaces, la vitesse et l'adaptabilité sont essentielles. Le pipeline de données mondial de Proofpoint traite chaque jour plusieurs milliards d'événements de sécurité, qu’il s’agisse de connexions cloud, de transferts de fichiers ou d’activités liées à la messagerie. Dans ce flux de signaux constant, il n’est pas simple de détecter les menaces avancées. Une logique statique ne suffit pas ; cela nécessite des itérations, tests et optimisations rapides.
À l’heure actuelle, un grand nombre de nos détections les plus avancées sont optimisées par l'apprentissage automatique (ML) et des modèles d'IA. Ces modèles identifient des comportements subtils à haut risque que les systèmes traditionnels basés sur des règles sont susceptibles de manquer. Cependant, leur développement et leur maintenance comportent des défis. Les analystes et les scientifiques des données doivent entraîner, tester et comparer plusieurs modèles simultanément, souvent dans différents domaines de détection. Dans les anciens environnements, ce processus peut être lent, coûteux et difficile à reproduire.
Les cycles de vie traditionnels de l’ingénierie compliquent encore la tâche. L'ajout ou la mise à jour d'un détecteur peut nécessiter plusieurs semaines de développement et de coordination. La stabilité de la production doit être préservée, et les analystes s'appuient souvent sur les équipes d'ingénierie pour le déploiement. L'expérimentation est limitée aux environnements partagés, réduisant encore les possibilités de tester une logique innovante ou de nouveaux modèles. Résultat : des solutions précieuses mettent trop longtemps à être intégrées aux défenses de nos clients.
Pour résoudre ces défis, notre équipe d'ingénierie a créé une plate-forme d'orchestration modulaire conçue pour développer, tester et optimiser les pipelines d'enrichissement et de détection des menaces.
Ce système permet aux analystes et aux scientifiques des données d'expérimenter en toute sécurité différentes approches de détection (y compris les modèles d'IA et d’apprentissage automatique), de partager des modèles entraînés entre les modules et de déterminer rapidement quelles configurations offrent les meilleurs résultats. Il a littéralement révolutionné la façon dont nous développons les détecteurs. En effet, il permet à nos équipes d'innover plus rapidement, de valider les performances en toute confiance et de déployer de nouvelles protections à une vitesse sans précédent.
Le défi : la mise à l’échelle de l'ingénierie de détection
L'écosystème de détection de Proofpoint couvre de nombreux domaines : prise de contrôle de comptes (ATO), menaces internes, activités postérieures à l’accès et sécurité des applications cloud. Chacun de ces domaines s’appuie sur un ensemble de détecteurs, enrichisseurs et créateurs d’états qui opèrent sur d’énormes quantités de sources de données et distribuées.
Au fil du temps, il est devenu de plus en plus complexe de maintenir et faire évoluer ces systèmes. Les analystes avaient besoin d’un moyen de :
- Créer et tester des détecteurs sans dépendances techniques
- Reproduire les flux de données de production en toute sécurité
- Comprendre et contrôler les coûts pour chaque expérience
- Surveiller l'intégrité et la fiabilité des détecteurs
En bref, nous devions rendre l’ingénierie de détection aussi dynamique et combinable que les menaces dont nous vous protégeons.
C’est sur cette vision que repose notre plate-forme d'orchestration modulaire, un système interne conçu pour apporter une automatisation, une observabilité et un contrôle à l'échelle du cloud à chaque étape du cycle de vie de la détection.
La solution : une orchestration modulaire pour la détection et l’enrichissement
Fondamentalement, la plate-forme offre une couche d'orchestration basée sur AWS Managed Airflow (MWAA) et intégrée à la plate-forme de données existante de Proofpoint. Chaque flux de données — appelé module — est représenté sous forme de DAG Airflow pouvant lire ou écrire sur des produits de données versionnés sur Amazon S3, à l’aide de technologies telles qu’AWS Glue, Athena et Apache Iceberg.
Ces modules peuvent représenter les éléments suivants :
- Détecteurs – Logique qui signale les comportements suspects ou les indicateurs de menace
- Enrichisseurs – Tâches qui ajoutent des métadonnées telles que la réputation des adresses IP, les scores de rareté ou le contexte géographique
- Créateurs d'états – Tâches d’arrière-plan qui agrègent les modèles historiques pour améliorer l'exactitude
Chaque DAG est entièrement combinable, ce qui signifie qu'il peut consommer les résultats d'autres modules. Cela nous permet de créer un graphe de traitement des données multicouche couvrant tout l'écosystème de détection de Proofpoint.
Pour assurer la fiabilité et la rapidité, le système s’appuie sur trois couches distinctes :
- BAC À SABLE. Un environnement entièrement isolé permettant aux analystes d’expérimenter en toute sécurité avec des répliques de données réelles. Nous pouvons créer autant de bacs à sable que nécessaire.
- ENVIRONNEMENT DE VALIDATION. Une couche de préproduction partagée où les flux sont validés et évalués.
- ENVIRONNEMENT DE PRODUCTION. L'environnement de production qui transmet les détections validées à la solution de prévention des fuites de données dans le cloud, à la protection contre les ATO et à d'autres systèmes en aval.
Cette structure donne aux analystes la liberté d’innover tout en maintenant des limites opérationnelles robustes. L’accès aux données, le contrôle des coûts et les vérifications de qualité sont tous gérés automatiquement grâce aux bonnes pratiques appliquées par le SDK, telles que les TTL obligatoires pour les données écrites et la création automatique de tableaux Glue pour chaque ensemble de données.
Figure 1. Présentation de l’architecture de notre solution d’orchestration modulaire.
Intelligence et observabilité intégrées
La plate-forme inclut également une couche de surveillance et de gouvernance robuste. Les intégrations avec Grafana et PagerDuty offrent une visibilité en temps réel sur l'intégrité d'Airflow, les performances des flux et l'utilisation des coûts. En cas d'échec d'un flux, des alertes automatiques sont envoyées avec des journaux détaillés via Teams et par email. Cela garantit un tri et une reprise immédiats.
La détection des anomalies est également appliquée pour surveiller les éléments suivants :
- Coûts des requêtes Athena – Prévention des dépenses imprévues
- Spam de flux – Identification des boucles ou détecteurs incontrôlés
- Intégrité de la détection – Suivi de la cohérence des volumes de détection et de la qualité des données
Cette observabilité intégrée rend chaque flux de données à la fois autonome et responsable. Cela est essentiel pour l’exploitation d’un système qui gère plusieurs milliers de détecteurs dans différentes régions.
Étude de cas : accélération de la détection avancée des attaques ATO
L’impact de cette plate-forme d’orchestration est parfaitement illustré par la façon dont elle a transformé le cycle de développement de Session Hijack, l’un de nos détecteurs d’attaques ATO les plus avancés.
Ce détecteur identifie les sessions utilisateur potentiellement compromises en analysant les combinaisons inhabituelles d’adresses IP, de navigateurs, de systèmes d’exploitation et de modèles d’authentification. Il met en corrélation les événements sur de courtes périodes afin d’identifier les activités suspectes révélatrices de prises de contrôle de session.
Avant la création de la plate-forme d’orchestration, il pouvait falloir plusieurs mois pour mettre en production un détecteur tels que Session Hijack. Les analystes concevaient la logique, demandaient un soutien technique pour l’ingestion et l’orchestration des données, et devaient générer plusieurs cycles de déploiement dans les environnements de test et de préproduction. Chaque ajustement nécessitait du temps d’ingénierie supplémentaire, ce qui retardait encore le moment où la nouvelle protection parvenait aux clients.
Avec cette plate-forme modulaire, le même type de détecteur peut passer du concept à la production en à peine quelques jours. Les analystes peuvent développer, tester et affiner la logique de façon indépendante dans des environnements isolés qui reproduisent les conditions de production. Pendant ce temps, l'automatisation intégrée gère le déploiement et la validation.
Résultat : une innovation accélérée, une protection plus rapide pour nos clients et une boucle de collaboration plus efficace entre les équipes de recherche en détection et d'ingénierie.
Collaboration et rentabilité à grande échelle
L'un des aspects les plus puissants de la plateforme réside dans sa capacité à faire le lien entre la recherche et l'ingénierie. Les analystes peuvent travailler de façon indépendante. Ils peuvent néanmoins continuer de déposer le code dans des référentiels partagés, où tous les flux sont versionnés et auditables dans Git. Les retours à la version précédente sont instantanés. Et chaque exécution de DAG est traçable, jusqu'au produit de données qu'elle a lu ou écrit.
Par ailleurs, le suivi des coûts est intégré. Cela garantit que l'expérimentation ne nuit pas à l'efficacité. Les données écrites sur S3 doivent spécifier une durée de vie (TTL), ce qui garantit un nettoyage automatique. Les coûts des requêtes Athena et les métriques d'utilisation de S3 sont intégrés dans des tableaux de bord qui mettent en évidence les opportunités d’optimisation.
Cet équilibre entre liberté et contrôle a permis à Proofpoint d'augmenter considérablement le nombre de détecteurs actifs tout en maintenant des coûts prévisibles et la stabilité opérationnelle.
Redéfinir la façon dont les ingénieurs Proofpoint détectent les menaces
La plate-forme d'orchestration modulaire représente bien plus qu'une simple infrastructure — il s’agit d’une révolution dans notre façon d'innover. En permettant aux analystes d'expérimenter en toute sécurité, de valider rapidement et de déployer en toute confiance, Proofpoint a redéfini le concept d'agilité dans le contexte de la détection des menaces à grande échelle.
Il a raccourci les cycles de développement, passant de plusieurs mois à quelques jours, renforcé la collaboration entre les équipes de recherche et d’ingénierie, et garanti que chaque nouvelle découverte puisse rapidement se traduire par une meilleure protection des clients.
Chez Proofpoint, nous pensons que la capacité de s'adapter aussi rapidement que les cybercriminels évoluent est la clé de la cybersécurité moderne. La plate-forme d’orchestration nous aide précisément à atteindre cet objectif, en améliorant continuellement la rapidité, la précision et la résilience de nos détections dans le paysage mondial des menaces.
Rejoignez l'équipe Proofpoint
Nos collaborateurs, et la diversité de leurs expériences et parcours, sont l'élément moteur de notre réussite. Nous nous sommes donné pour mission de protéger les personnes, les données et les marques contre les menaces avancées actuelles et les risques de non-conformité.
Nous recrutons les meilleurs talents pour :
- Développer et améliorer notre plate-forme de sécurité éprouvée
- Allier innovation et vitesse au sein d'une architecture cloud en constante évolution
- Analyser les nouvelles menaces et fournir des informations détaillées grâce à une threat intelligence axée sur les données
- Collaborer avec nos clients pour résoudre leurs défis de cybersécurité les plus complexes
Si vous souhaitez en savoir plus sur les possibilités de carrière chez Proofpoint, consultez notre page dédiée.
À propos des auteurs
Guy Sela
Guy Sela est ingénieur principal et architecte en chef de l’équipe Cloud DLP de Proofpoint. Fort de plus de 19 ans d'expérience dans divers domaines logiciels — y compris la création de sa propre société d’édition de logiciels de formation au poker — il apporte sa passion pour la création de solutions efficaces et évolutives. Il vit à Austin, au Texas, avec sa femme, Alejandra, et leur fils, Oz.
Sarah Skutch Freedman
Sarah est ingénieure en logiciels et en données chez Proofpoint. Elle adore relever le défi d'équilibrer les coûts et l'efficacité pour résoudre des problèmes complexes à grande échelle. Quand elle n’optimise pas des pipelines de données, elle aime voyager et est accro à la caféine et au CrossFit.
Sharon Rozinsky
Sharon Rozinsky est un ingénieur logiciel expérimenté, spécialisé dans l’ingénierie backend et de données. Il est passionné par la conception et le développement de systèmes à grande échelle qui ont un impact significatif pour les utilisateurs finaux. En dehors du travail, il aime faire de l’escalade de bloc, du vélo et construire des créations Lego avec ses deux enfants.
Nir Shneor
Nic Shneor est un leader technologique profondément ancré dans l'architecture logicielle et l'ingénierie backend. Il possède une grande expérience dans la direction d'équipes en environnement startup, la création de produits de A à Z et le développement d’organisations techniques. Passionné par le mentorat, Nir aime résoudre les problèmes complexes et explorer la nature en faisant de la randonnée. Il est l'heureux père de trois garçons et est un visionnaire innovant.
