“Prospettive di ingegneria” è una serie di articoli del blog che fornisce uno sguardo dietro le quinte sulle problematiche tecniche, le lezioni apprese e i miglioramenti che aiutano i nostri clienti a proteggere i loro collaboratori e i loro dati ogni giorno. Negli articoli che scrivono, i nostri ingegneri spiegano il processo che ha portato a un’innovazione Proofpoint.
Quando si parla di rilevamento delle minacce, velocità e adattabilità sono fondamentali. La pipeline di dati mondiale di Proofpoint elabora miliardi di eventi di sicurezza ogni giorno, dagli accessi al cloud ai trasferimenti di file o alle attività legate all’email. Rilevare le minacce avanzate in questo flusso costante di segnali non è facile. Una logica statica non è sufficiente: sono necessarie iterazioni, test e miglioramenti rapidi.
Oggi, molti dei nostri rilevamenti più avanzati sono ottimizzati dal machine learning e dai modelli di IA. Questi modelli identificano comportamenti sottili e ad alto rischio che i sistemi tradizionali basati su regole potrebbero non rilevare. Ma il loro sviluppo e la loro manutenzione comporta delle sfide. Gli analisti e i data scientist devono addestrare, testare e confrontare più modelli simultaneamente, spesso in diversi domini di rilevamento. Negli ambienti di vecchia generazione, questo processo può essere lento, costoso e difficile da riprodurre.
I cicli di vita tradizionali della progettazione complicano ulteriormente questa sfida. L'aggiunta o l'aggiornamento di un rilevatore può richiedere settimane di sviluppo e coordinamento. La stabilità della produzione deve essere preservata, e gli analisti spesso si affidano ai team di ingegneria per l’implementazione. La sperimentazione è limitata agli ambienti condivisi, riducendo ulteriormente le possibilità di testare una logica innovativa o nuovi modelli. Di conseguenza, soluzioni efficaci impiegano troppo tempo per essere integrate nelle difese dei nostri clienti.
Per risolvere queste sfide, il nostro team ingegneristico ha creato una piattaforma di orchestrazione modulare concepita per sviluppare, testare e ottimizzare le pipeline di rilevamento e arricchimento delle minacce.
Questo sistema consente ad analisti e data scientist di sperimentare in sicurezza diversi approcci di rilevamento (inclusi i modelli di IA e machine learning), condividere i modelli addestrati tra i moduli e determinare rapidamente quali configurazioni offrono i risultati migliori. Cambia radicalmente il modo in cui sviluppiamo i rilevatori. Ciò consente ai nostri team di innovare più rapidamente, convalidare le prestazioni con sicurezza e implementare nuove protezioni a una velocità senza precedenti.
La sfida: scalare l'ingegneria del rilevamento
L'ecosistema di rilevamento di Proofpoint copre numerosi domini: takeover degli account, minacce interne, attività successive all’accesso e sicurezza delle applicazioni cloud. Ciascun dominio si basa su un insieme di rilevatori, moduli di arricchimento e generatori di stato che operano su enormi quantità di fonti di dati distribuite.
Nel tempo, è diventato sempre più complesso mantenere e far evolvere questi sistemi. Gli analisti avevano bisogno di un modo per:
- Creare e testare i rilevatori senza dipendenze tecniche
- Riprodurre i flussi di dati della produzione in modo sicuro
- Comprendere e controllare i costi per ogni esperienza
- Monitorare l’integrità e l'affidabilità dei rilevatori
In breve, dovevamo rendere l’ingegneria del rilevamento dinamica e combinabile, proprio come le minacce da cui ti difendiamo.
Questa visione è diventata la base della nostra piattaforma di orchestrazione modulare, un sistema interno progettato per portare automazione, osservabilità e controllo a livello di cloud in ogni fase del ciclo di vita del rilevamento.
La soluzione: un’orchestrazione modulare per il rilevamento e l'arricchimento
Fondamentalmente, la piattaforma offre un livello di orchestrazione basato su AWS Managed Airflow (MWAA) e integrato con la piattaforma di dati esistente di Proofpoint. Ogni flusso di dati, denominato modulo, è rappresentato come un DAG Airflow, in grado di leggere o scrivere su prodotti di dati versionati su Amazon S3, grazie a tecnologie come AWS Glue, Athena e Apache Iceberg.
Questi moduli possono rappresentare i seguenti elementi:
- Rilevatori – Logica che segnala i comportamenti sospetti o gli indicatori di minaccia
- Moduli di arricchimento – Attività che aggiungono metadati quali la reputazione degli IP, i punteggi di rarità o il contesto geografico
- Generatori di stato – Lavori in background che aggregano modelli storici per migliorare la precisione
Ogni DAG è completamente componibile, il che significa che può utilizzare i risultati di altri moduli. Questo ci consente di creare un grafico di elaborazione dei dati a più livelli che copre tutto l'ecosistema di rilevamento di Proofpoint.
Per garantire affidabilità e velocità, il sistema si basa su tre livelli distinti:
- AMBIENTE DI SPERIMENTAZIONE. Un ambiente completamente isolato che consente agli analisti di sperimentare in sicurezza con repliche di dati reali. Possiamo avviare tutti gli ambienti di sperimentazione necessari.
- AMBIENTE DI CONVALIDA. Un livello di pre-produzione condiviso in cui i flussi vengono convalidati e valutati.
- AMBIENTE DI PRODUZIONE. Ambiente di produzione che trasmette i rilevamenti convalidati alla soluzione di prevenzione della perdita di dati nel cloud, alla protezione contro il takeover degli account (ATO) e ad altri sistemi a valle.
Questa struttura offre agli analisti la libertà di innovare mantenendo solidi limiti operativi. L'accesso ai dati, il controllo dei costi e le verifiche della qualità sono tutti gestiti automaticamente grazie a best practice applicate dall’SDK, come i TTL obbligatori per i dati scritti e la creazione automatica di tabelle Glue per ogni set di dati.
Figura 1. Panoramica dell'architettura della nostra soluzione di orchestrazione modulare.
Threat intelligence e osservabilità integrate
La piattaforma include anche un solido livello di monitoraggio e governance. Le integrazioni con Grafana e PagerDuty forniscono visibilità in tempo reale sull’integrità di Airflow, sulle prestazioni dei flussi e sull'utilizzo dei costi. Quando un flusso fallisce, vengono inviati avvisi automatici con log dettagliati tramite Teams e email. Ciò garantisce un triage e un ripristino immediati.
Viene applicato anche il rilevamento delle anomalie per monitorare i seguenti elementi:
- Costi delle query Athena – Prevenzione di spese impreviste
- Spam del flusso – Identificazione di loop o rilevatori fuori controllo
- Integrità del rilevamento – Monitoraggio della coerenza dei volumi di rilevamento e della qualità dei dati
Questa osservabilità incorporata rende ogni flusso di dati autonomo e responsabile. Questo è fondamentale per far funzionare un sistema che gestisce migliaia di rilevatori in più regioni.
Caso di studio: accelerazione del rilevamento avanzato degli attacchi ATO
L'impatto di questa piattaforma di orchestrazione è perfettamente illustrato dal modo in cui ha trasformato il ciclo di sviluppo di Session Hijack, uno dei nostri rilevatori di attacchi ATO più avanzati.
Questo rilevatore identifica le sessioni utente potenzialmente compromesse analizzando le combinazioni insolite di indirizzi IP, browser, sistemi operativi e modelli di autenticazione. Correla gli eventi su brevi periodi per identificare le attività sospette che sono incide di takeover di sessione.
Prima della creazione di questa piattaforma di orchestrazione, ci potevano volere diversi mesi per mettere in produzione un rilevatore come Session Hijack. Gli analisti progettavano la logica, richiedevano supporto ingegneristico per l'ingestione e l'orchestrazione dei dati e dovevano generare diversi cicli di implementazione negli ambienti di test e pre-produzione. Ogni adeguamento richiedeva ulteriore tempo ingegneristico, ritardando ulteriormente il momento in cui la nuova protezione raggiungeva i clienti.
Con questa piattaforma modulare, lo stesso tipo di rilevatore può passare dal concetto alla produzione in soli pochi giorni. Gli analisti possono sviluppare, testare e perfezionare la logica in modo indipendente in ambienti isolati che replicano le condizioni di produzione. Nel frattempo, l'automazione integrata gestisce l’implementazione e la convalida.
Il risultato: un’innovazione accelerata, una protezione più rapida per i nostri clienti e un ciclo di collaborazione più efficiente tra i team di ricerca del rilevamento e di ingegneria.
Collaborazione e redditività su larga scala
Uno degli aspetti più potenti della piattaforma è il modo in cui collega ricerca e ingegneria. Gli analisti possono operare in modo indipendente. Possono comunque continuare a depositare il codice in archivi condivisi, dove tutti i flussi sono versionati e verificabili in Git. I ripristini della versione precedente sono istantanei. E ogni esecuzione di DAG è tracciabile, fino al prodotto di dati che ha letto o scritto.
Allo stesso tempo, il monitoraggio dei costi è integrato. Questo assicura che la sperimentazione non comprometta l’efficienza. I dati scritti su S3 devono specificare la durata di vita (TTL), garantendo una bonifica automatica. I costi delle query Athena e le metriche di utilizzo di S3 sono integrate nelle dashboard che evidenziano le opportunità di ottimizzazione.
Questo equilibrio tra libertà e controllo ha permesso a Proofpoint di scalare drasticamente il numero di rilevatori attivi mantenendo costi prevedibili e stabilità operativa.
Ridefinire il modo in cui gli ingegneri Proofpoint rilevano le minacce
La piattaforma di orchestrazione modulare rappresenta più di una semplice infrastruttura: è una rivoluzione del modo in cui innoviamo. Consentendo agli analisti di sperimentare in modo sicuro, validare rapidamente e implementare con fiducia, Proofpoint ha ridefinito il significato di agilità nel contesto del rilevamento delle minacce su larga scala.
Ha abbreviato i cicli di sviluppo da mesi a giorni, rafforzato la collaborazione tra i team di ricerca e ingegneria e assicurato che ogni nuova scoperta possa tradursi rapidamente in una migliore protezione dei clienti.
In Proofpoint, crediamo che la capacità di adattarsi con la stessa rapidità con cui evolvono i criminali informatici sia la chiave della sicurezza informatica moderna. Questa piattaforma di orchestrazione ci aiuta a raggiungere questo obiettivo, migliorando continuamente la rapidità, la precisione e la resilienza dei nostri rilevamenti nel panorama globale delle minacce.
Unisciti al team Proofpoint
I nostri collaboratori, e la diversità delle loro esperienze e percorsi, sono l’elemento trainante del nostro successo. La nostra missione è proteggere le persone, i dati e i marchi contro le minacce avanzate attuali e i rischi di non conformità.
Assumiamo i migliori talenti per:
- Sviluppare e migliorare la nostra piattaforma di sicurezza comprovata
- Combinare innovazione e velocità in un’architettura cloud in costante evoluzione
- Analizzare le nuove minacce e offrire informazioni dettagliate grazie a una threat intelligence basata sui dati delle minacce
- Collaborare con i nostri clienti per risolvere le loro sfide di sicurezza informatica più complesse.
Se sei interessato a saperne di più sulle opportunità di lavoro in Proofpoint, visita la nostra pagina dedicata.
Informazioni sugli autori
Guy Sela
Guy Sela è principal engineer e chief architect del team Cloud DLP di Proofpoint. Con oltre 19 anni di esperienza nel settore del software, che includono la fondazione di una propria azienda specializzata nello sviluppo di software per la formazione al poker, porta con sé una profonda passione per lo sviluppo di soluzioni scalabili e ad alto impatto. Vive ad Austin, Texas, con sua moglie Alejandra e il loro figlio Oz.
Sarah Skutch Freedman
Sarah è ingegnere in software e dati in Proofpoint. Ama affrontare sfide che richiedono di bilanciare costi ed efficienza per risolvere problemi complessi su larga scala. Quando non è impegnata a ottimizzare le pipeline di dati, ama viaggiare ed è dipendente dalla caffeina e dal Crossfit.
Sharon Rozinsky
Sharon Rozinsky è un software engineer esperto specializzato in backend e ingegneria dei dati. È appassionato di progettazione e sviluppo di sistemi su larga scala che hanno un impatto significativo per gli utenti finali. Al di fuori del lavoro, ama praticare l’arrampicata su roccia, andare in bicicletta e creare Lego insieme ai suoi due figli.
Nir Shneor
Nic Shneor è un leader tecnologico con profonde radici nell'architettura software e nell'ingegneria del backend. Ha una grande esperienza nella gestione di team in ambienti startup, nella creazione di prodotti partendo da zero e nello sviluppo di organizzazioni tecniche. Appassionato di mentorship, Nir ama risolvere problemi complessi ed esplorare la natura facendo escursioni. È un padre orgoglioso di tre ragazzi ed è un visionario innovativo.
