"Engineering Insights" es una serie de artículos de blog que ofrece una perspectiva interna sobre los retos técnicos, las lecciones aprendidas y los avances que permiten a nuestros clientes proteger a las personas y defender los datos a diario. En los artículos que escriben, nuestros ingenieros explican el proceso que condujo a una innovación de Proofpoint.
A la hora de detectar las amenazas actuales, la velocidad y la adaptabilidad son fundamentales. La cartera de datos global de Proofpoint procesa cada día miles de millones de eventos de seguridad, ya sean conexiones en la nube, transferencias de archivos o actividades relacionadas con el correo electrónico. En este flujo constante de señales, no es fácil detectar las amenazas avanzadas. Una lógica estática no es suficiente; se necesitan iteraciones, pruebas y optimizaciones rápidas.
En la actualidad, muchas de nuestras tecnologías de detección más avanzadas están optimizadas mediante el aprendizaje automático (ML) y modelos de IA. Estos modelos identifican patrones de comportamiento sutiles y de alto riesgo que los sistemas tradicionales basados en reglas podrían pasar por alto. Sin embargo, su desarrollo y mantenimiento conlleva desafíos. Los analistas y científicos de datos necesitan entrenar, probar y comparar múltiples modelos simultáneamente, a menudo en diferentes dominios de detección. En entornos heredados, el proceso puede ser lento, costoso y difícil de reproducir.
Los ciclos de vida tradicionales de desarrollo complican todavía más la tarea. Añadir o actualizar un detector puede llevar semanas de desarrollo y coordinación. Se debe preservar la estabilidad de la producción, y los analistas suelen recurrir al equipo de ingeniería para el despliegue. La experimentación se limita a entornos compartidos, lo que reduce aún más las posibilidades de probar una lógica innovadora o nuevos modelos. Como resultado, las soluciones valiosas tardan demasiado en llegar a las defensas de nuestros clientes.
Para resolver estos retos, nuestro equipo de ingeniería ha creado una plataforma de orquestación modular diseñada para desarrollar, probar y optimizar los procesos de detección y enriquecimiento de amenazas.
Este sistema permite a los analistas y científicos de datos experimentar de forma segura con diferentes enfoques de detección (incluidos modelos de IA y aprendizaje automático), compartir modelos entrenados entre módulos y determinar rápidamente qué configuraciones ofrecen los mejores resultados. Ha revolucionado literalmente la forma en que desarrollamos los detectores. Esto permite a nuestros equipos innovar más rápidamente, validar el rendimiento con confianza y desplegar nuevas protecciones a una velocidad sin precedentes.
El reto: ampliar la escala de desarrollo de tecnología de detección
El ecosistema de detección de Proofpoint abarca una amplia gama de áreas: usurpación de cuentas (ATO), amenazas internas, actividad posterior al acceso y seguridad de aplicaciones cloud. Cada una de estas áreas se basa en un conjunto de detectores, enriquecedores y creadores de estados que operan sobre enormes cantidades de fuentes de datos distribuidas.
Con el paso del tiempo, se ha vuelto cada vez más complejo mantener y desarrollar estos sistemas. Los analistas necesitaban una forma de:
- Crear y probar detectores sin dependencias de ingeniería.
- Reproducir los flujos de datos de producción de forma segura.
- Comprender y controlar los costes de cada experimento.
- Supervisar el estado y la fiabilidad de los detectores.
En resumen, teníamos que hacer que el desarrollo de tecnología de detección fuera tan dinámica y evolutiva como las amenazas de las que le protegemos.
Esa visión se convirtió en la base de nuestra plataforma de orquestación modular, un sistema interno diseñado para llevar la automatización, la observabilidad y el control a escala de la nube a cada etapa del ciclo de vida del detector.
La solución: orquestación modular de las funciones de detección y enriquecimiento
En esencia, la plataforma proporciona una capa de orquestación basada en AWS Managed Airflow (MWAA) e integrada con la plataforma de datos existente de Proofpoint. Cada flujo de datos, denominado "módulo", se representa como un DAG de Airflow que puede leer o escribir en productos de datos versionados en Amazon S3, utilizando tecnologías como AWS Glue, Athena y Apache Iceberg.
Estos módulos pueden representar:
- Detectores: lógica que identifica comportamientos sospechosos o indicadores de amenazas.
- Enriquecedores: trabajos que añaden metadatos como la reputación IP, puntuaciones de rareza o contexto geográfico.
- Creadores de estados: tareas en segundo plano que agregan patrones históricos para mejorar la precisión.
Cada DAG es totalmente modular, lo que significa que puede procesar salidas de otros módulos. Esto nos permite crear un grafo de procesamiento de datos multicapa que abarca todo el ecosistema de detección de Proofpoint.
Para garantizar la fiabilidad y la velocidad, el sistema funciona en tres niveles:
- Playground: un entorno completamente aislado en el que los analistas pueden experimentar de forma segura con réplicas de datos reales. Podemos crear tantos entornos Playground como sea necesario.
- DRY: una capa de ensayo compartida donde se validan y comparan los flujos.
- WET: un entorno de producción que emite detecciones validadas a soluciones de DLP (prevención de pérdida de datos), protección frente a la usurpación de cuentas y otros sistemas.
Esta estructura permite a los analistas desarrollar libremente innovaciones dentro de unos límites operativos estrictos. El acceso a los datos, el control de costes y los controles de calidad se gestionan automáticamente mediante las mejores prácticas impuestas por el SDK. Entre ellas como los TTL (Time-to-Live) obligatorios para los datos escritos y la creación automática de tablas Glue para cada conjunto de datos.
Figura 1. Descripción general de la arquitectura de nuestra solución de orquestación modular.
Inteligencia y observabilidad integradas
La plataforma también incluye una sólida capa de supervisión y gobierno. Las integraciones con Grafana y PagerDuty proporcionan visibilidad en tiempo real sobre el estado de Airflow, el rendimiento de los flujos y la utilización de costes. Si falla un flujo, se envían automáticamente alertas con registros detallados a través de Teams y por correo electrónico, para garantizar una clasificación y recuperación inmediatas.
La detección de anomalías también se utiliza para supervisar lo siguiente:
- Costes de las consultas de Athena: cómo evitar gastos inesperados.
- Spam de flujo: identificación de bucles o detectores descontrolados.
- Estado de la detección: seguimiento de la coherencia de los volúmenes de detección y la calidad de los datos.
Esta observabilidad integrada hace que cada flujo de datos sea tanto autónomo como responsable. Esto es fundamental para el funcionamiento de un sistema que gestiona miles de detectores en varias regiones.
Caso de uso: implementación más rápida de un detector avanzado de apropiación de cuentas
El efecto de esta plataforma de coordinación se refleja mejor en cómo ha cambiado el ciclo de vida de desarrollo de Session Hijack, uno de nuestros detectores más modernos de apropiaciones de cuentas.
Analiza combinaciones inusuales de direcciones IP, navegadores, sistemas operativos y patrones de autenticación para identificar sesiones de usuario potencialmente comprometidas. Para ello, correlaciona eventos en intervalos de tiempo cortos y detecta actividades sospechosas que indican apropiaciones de sesión.
Antes de que existiera esta plataforma, podía llevar meses implementar un detector como Session Hijack en entornos productivos. Los analistas diseñaban la lógica, solicitaban asistencia técnica para la recopilación y orquestación de datos, y pasaban por varios ciclos de implementación en entornos de prueba y puesta en marcha. Cada ajuste requería tiempo de desarrollo adicional, lo que retrasaba aún más el momento en que los clientes podían utilizar la nueva protección.
Con esta plataforma modular, el mismo tipo de detector puede pasar del concepto a la producción en solo unos días. Los analistas pueden desarrollar, probar y perfeccionar la lógica de forma independiente en entornos aislados que reproducen las condiciones de producción. mientras que la automatización integrada se encarga del despliegue y la validación.
El resultado: innovación más rápida, protección más rápida para nuestros clientes y un ciclo de colaboración más eficiente entre la investigación de detección y el desarrollo tecnológico.
Colaboración y rentabilidad a gran escala
Uno de los aspectos más destacados de la plataforma es la vinculación entre investigación y desarrollo. Los analistas pueden trabajar de forma independiente y, al mismo tiempo, tienen la posibilidad de transferir código a repositorios comunes. Todos los procesos están sujetos a un control de versiones y pueden auditarse en Git. Las reversiones son instantáneas. Y cada ejecución de DAG es rastreable, hasta el producto de datos que ha leído o escrito.
Al mismo tiempo, se ha incorporado el seguimiento de costes, lo que garantiza que la experimentación no sacrifique la eficiencia. Los datos escritos en S3 deben especificar el tiempo de vida (TTL) para garantizar la limpieza automática. Los costes de las consultas de Athena y las métricas de uso de S3 se introducen en paneles de control que muestran oportunidades de optimización.
Este equilibrio entre libertad y control ha permitido a Proofpoint aumentar drásticamente el número de detectores activos, al tiempo que se mantienen unos costes predecibles y la estabilidad operativa.
Enfoque de detección de amenazas completamente renovado
La plataforma de coordinación modular no es solo una infraestructura: representa un cambio en el desarrollo de las innovaciones. Al permitir que los analistas experimenten de forma segura, validen rápidamente y desplieguen con confianza, Proofpoint ha redefinido el concepto de agilidad en el contexto de la detección de amenazas a gran escala.
La nueva plataforma ha reducido los ciclos de desarrollo de meses a días. Además, se ha intensificado la colaboración entre investigación y desarrollo, lo que garantiza que cada nuevo descubrimiento pueda traducirse rápidamente en una mayor protección para los clientes.
En Proofpoint creemos que la rápida adaptación a las nuevas tácticas de los ciberdelincuentes es la base de la ciberseguridad moderna. Esta plataforma nos ayuda precisamente a eso: mejorar continuamente la velocidad, la precisión y la resiliencia de nuestras tecnologías de detección en el panorama global de amenazas.
Únase al equipo
En Proofpoint, consideramos que nuestro personal, con su amplia variedad de experiencias y condicionantes vitales, son la fuerza motriz de nuestro éxito. Nos dedicamos en cuerpo y alma a proteger a las personas, los datos y las marcas contra las amenazas avanzadas actuales y los riesgos de incumplimiento normativo.
Contamos con los mejores profesionales del sector para:
- Desarrollar y mejorar nuestra plataforma de seguridad comprobada.
- Combinar innovación y velocidad en una arquitectura cloud que evoluciona constantemente.
- Analizar nuevas amenazas y ofrecer información detallada a través de inteligencia basada en datos.
- Colaborar con nuestros clientes para resolver los principales retos para su ciberseguridad.
Si está interesado en obtener información sobre las oportunidades de empleo en Proofpoint, visite la página de oportunidades de empleo en Proofpoint.
Acerca de los autores
Guy Sela
Guy Sela es ingeniero principal y arquitecto jefe en el equipo de Cloud DLP de Proofpoint. Con más de 19 años de experiencia en el sector del software, que incluyen la fundación de su propia empresa especializada en el desarrollo de software para la formación en póquer, aporta una profunda pasión por el desarrollo de soluciones escalables y de gran impacto. Vive en Austin, Texas, con su esposa Alejandra y su hijo Oz.
Sarah Skutch Freedman
Sarah es ingeniera de software y datos en Proofpoint. Le gusta afrontar retos que requieren equilibrar costes y eficiencia para resolver problemas complejos a gran escala. Cuando no está ocupada optimizando los flujos de datos, le encanta viajar y es adicta a la cafeína y al Crossfit.
Sharon Rozinsky
Sharon Rozinsky es un ingeniero de software con amplia experiencia, especializado en ingeniería de backend y datos. Le apasiona diseñar y construir sistemas a gran escala que sean de gran utilidad para los usuarios. Fuera del trabajo, se dedica a la escalada en bloque, al ciclismo y a construir creaciones con Lego junto a sus dos hijos.
Nir Shneor
Nic Shneor es un líder tecnológico con una amplia experiencia en arquitectura de software e ingeniería de backend. Tiene experiencia en la gestión de equipos en entornos de startups, en el desarrollo de productos desde cero y en la ampliación de departamentos técnicos. Apasionado por orientar a los demás, Nir disfruta resolviendo problemas complejos y explorando la naturaleza a través del senderismo. Es un padre orgulloso de tres hijos varones y un visionario orientado al futuro.
