Engineering Insights ist eine fortlaufende Blog-Serie, die einen Blick hinter die technischen Herausforderungen sowie auf die Erkenntnisse und Fortschritte wirft, die unseren Kunden im Alltag helfen, ihre Mitarbeiter und Daten zu schützen. Die Beiträge werden von unseren technischen Experten geschrieben und erläutern den Prozess, der zu einer Proofpoint-Innovation geführt hat.
Bei der Bedrohungserkennung spielen Geschwindigkeit und Anpassungsfähigkeit heute eine zentrale Rolle. Die globale Datenpipeline von Proofpoint verarbeitet täglich Milliarden Sicherheitsereignisse, einschließlich Cloud-Anmeldungen, Dateiübertragungen und E-Mail-Aktivitäten. Die Erkennung hochentwickelter Bedrohungen ist angesichts dieses konstanten Informationsstroms nicht einfach und erfordert nicht nur statische Logik, sondern schnelle Iterationen, Tests und Verbesserungen.
Heute werden viele unserer modernsten Erkennungstechnologien von Machine Learning (ML)- und KI-Modellen unterstützt. Diese Modelle identifizieren subtile, besonders riskante Verhaltensmuster, die herkömmliche regelbasierte Systeme häufig übersehen. Die Entwicklung und Pflege dieser Modelle ist jedoch nicht trivial. Analysten und Datenwissenschaftler müssen mehrere Modelle gleichzeitig trainieren, testen und vergleichen, oft in verschiedenen Erkennungsbereichen. In Legacy-Umgebungen ist dieser Prozess mitunter langsam, kostspielig und kaum reproduzierbar.
Zusätzlich erschwert wird dieser Prozess durch herkömmliche Entwicklungslebenszyklen. Das Hinzufügen oder Aktualisieren eines Detektors kann Wochen an Entwicklung und Koordination in Anspruch nehmen, da gleichzeitig die Stabilität der Produktivumgebung gewährleistet bleiben muss. Experimente können nur in gemeinsam genutzten Umgebungen durchgeführt werden, was das Testen innovativer Logik oder neuer Modelle erschwert. Infolgedessen dauert es zu lange, bis wertvolle Lösungen in die Schutzmaßnahmen unserer Kunden integriert werden.
Um diese Herausforderungen zu bewältigen, hat unser Entwicklungsteam eine dedizierte, modulare Koordinierungsplattform für das Entwickeln, Testen und Optimieren von Bedrohungserkennungs- und Anreicherungspipelines entwickelt.
Mit diesem System können Analysten und Datenwissenschaftler mit verschiedenen Erkennungsansätzen (einschließlich KI- und ML-Modellen) sicher experimentieren, trainierte Modelle für andere Module freigeben und schnell feststellen, welche Konfigurationen die besten Ergebnisse liefern. Dieser Ansatz verändert die Entwicklung von Detektoren grundlegend, da unsere Teams schneller Innovationen entwickeln, zuverlässig die Systemleistung validieren und neue Schutzmaßnahmen mit beispielloser Geschwindigkeit bereitstellen können.
Die Herausforderung: Skalierung der Entwicklung von Erkennungstechnologien
Das Erkennungsökosystem von Proofpoint deckt zahlreiche Bereiche ab: Kontoübernahmen, Insider-Bedrohungen, Aktivitäten nach dem Zugriff und Cloud-Anwendungssicherheit. Jeder dieser Bereiche nutzt mehrere Technologien zur Erkennung, Anreicherung und Zustandserstellung, die mit umfangreichen, verteilten Datenquellen arbeiten.
Im Laufe der Zeit ist die Wartung und Skalierung dieser Systeme immer komplexer geworden. Analysten benötigten daher eine Möglichkeit, Folgendes umzusetzen:
- Erstellen und Testen von Detektoren, ohne durch technische Abhängigkeiten beeinträchtigt zu werden
- Sicheres Reproduzieren von Datenflüssen in Produktivumgebungen
- Verstehen und Kontrollieren der Kosten für jedes Experiment
- Überwachen des Zustands und der Zuverlässigkeit der Detektoren
Kurz gesagt: Wir mussten die Entwicklung der Erkennungstechnologien so dynamisch und modular gestalten wie die Bedrohungen, die wir abwehren wollen.
Diese Vision wurde zur Grundlage für unsere modulare Koordinierungsplattform – ein internes System, das in jeder Phase des Detektor-Lebenszyklus Automatisierung im Cloud-Maßstab, Beobachtbarkeit und Kontrolle bietet.
Die Lösung: modulare Koordinierung der Erkennungs- und Anreicherungsfunktionen
Im Kern bietet die Plattform eine Koordinierungsschicht, die auf AWS Managed Airflow (MWAA) aufbaut und in die bestehende Datenplattform von Proofpoint integriert ist. Jeder Datenfluss – ein sogenanntes Modul – wird als Airflow-DAG (gerichteter azyklischer Graph) dargestellt, der unter Einsatz von Technologien wie AWS Glue, Athena und Apache Iceberg auf versionierte Datenprodukte in Amazon S3 zugreifen oder in diese schreiben kann.
Diese Module können folgende Funktionen übernehmen:
- Detektoren: Logik, die verdächtige Verhaltensweisen oder Bedrohungsindikatoren kennzeichnet
- Anreicherer: Funktionen, die Metadaten wie IP-Reputation, Seltenheitswerte oder geografischen Kontext hinzufügen
- Zustandsersteller: Im Hintergrund ausgeführte Funktionen, die historische Muster aggregieren, um die Richtigkeit zu verbessern
Jeder DAG ist vollständig modular, d. h. er kann Ausgaben anderer Module verarbeiten. Dadurch können wir einen mehrschichtigen Datenverarbeitungsgraphen erstellen, der das gesamte Proofpoint-Erkennungsökosystem abdeckt.
Um Zuverlässigkeit und Geschwindigkeit zu gewährleisten, arbeitet das System in drei Ebenen:
- Playground: Eine vollständig isolierte Umgebung, in der Analysten sicher mit echten Datenreplikaten experimentieren können. Wir können beliebig viele Playgrounds starten.
- DRY: Eine gemeinsam genutzte Staging-Ebene, in der Abläufe validiert und per Benchmark geprüft werden.
- WET: Die produktionsreife Umgebung, die validierte Erkennungen an Lösungen für Cloud-DLP (Datenverlustprävention), Schutz vor Kontoübernahmen und andere nachgelagerte Systeme übermittelt.
Durch diese Struktur können Analysten innerhalb strikter operativer Grenzen frei Innovationen entwickeln. Datenzugriff, Kostenkontrollen und Qualitätsprüfungen werden automatisch durch per SDK erzwungene empfohlene Vorgehensweisen verwaltet. Dazu gehören zum Beispiel obligatorische TTLs (Time-to-Live) für geschriebene Daten und die automatische Erstellung von Glue-Tabellen für jeden Datensatz.
Abb. 1: Überblick über die Architektur unserer modularen Koordinierungslösung.
Integrierte Intelligenz und Beobachtbarkeit
Die Plattform umfasst außerdem eine robuste Überwachungs- und Governance-Ebene. Integrationen mit Grafana und PagerDuty bieten Echtzeit-Transparenz zum Airflow-Zustand, zur Performance der Abläufe sowie zur Kosten-Nutzen-Analyse. Wenn ein Flow fehlschlägt, werden automatisch Warnmeldungen generiert und detaillierte Protokolle über Teams und per E-Mail versendet, um eine sofortige Triage und Wiederherstellung zu gewährleisten.
Die Erkennung von Anomalien wird auch eingesetzt, um Folgendes zu überwachen:
- Athena-Abfragekosten, um unerwartete Ausgaben zu verhindern
- Flow Spamming, um Schleifen oder außer Kontrolle geratene Detektoren zu identifizieren
- Status der Erkennung, um die Konsistenz der Erkennungsvolumina und die Datenqualität zu überwachen
Dank dieser eingebetteten Beobachtbarkeit wird jeder Datenfluss sowohl autonom als auch erklärbar. Für den Betrieb eines Systems, das tausende Detektoren in mehreren Regionen verwaltet, ist dies unverzichtbar.
Anwendungsbeispiel: Schnellere Bereitstellung eines erweiterten Kontoübernahme-Detektors
Die Wirkung dieser Koordinierungsplattform zeigt sich am besten daran, wie sie den Entwicklungslebenszyklus des Session Hijack-Detektors verändert hat.
Dieser Detektor zur Erkennung von Kontoübernahmen analysiert ungewöhnliche Kombinationen von IP-Adressen, Browsern, Betriebssystemen und Authentifizierungsmustern, um potenziell kompromittierte Anwendersitzungen zu identifizieren. Dazu korreliert er Ereignisse innerhalb kurzer Zeitfenster und bringt verdächtige Aktivitäten ans Tageslicht, die auf Sitzungsübernahmen hinweisen.
Bevor die Plattform existierte, konnte es Monate dauern, einen Detektor wie Session Hijack für Produktivumgebungen bereitzustellen. Analysten mussten die Logik konzipieren, technische Unterstützung für die Datenaufnahme und -koordinierung anfordern sowie mehrere Bereitstellungszyklen in Test- und Staging-Umgebungen durchlaufen. Jede Anpassung erforderte zusätzliche Entwicklungszeit, die den Zeitpunkt, bis Kunden den neuen Schutz einsetzen konnten, weiter hinaus schob.
Mit unserer modularen Plattform kann ein Detektortyp in wenigen Tagen vom Konzept zur Produktionsreife übergehen. Analysten können die Logik in isolierten Umgebungen, die Produktivbedingungen nachbilden, eigenständig entwickeln, testen und verfeinern, während die integrierte Automatisierung die Bereitstellung und Validierung übernimmt.
Dies ermöglicht schnellere Innovationen, schnelleren Schutz für unsere Kunden und eine effizientere Zusammenarbeit zwischen Erkennungsforschung und Technologieentwicklung.
Zusammenarbeit und Kosteneffizienz im großen Maßstab
Einer der herausragendsten Aspekte der Plattform ist die Verknüpfung von Forschung und Entwicklung. Analysten können unabhängig arbeiten und haben gleichzeitig die Möglichkeit, Code in gemeinsame Repositories zu übertragen. Alle Abläufe unterliegen einer Versionskontrolle und sind in Git auditfähig. Rollbacks können sofort umgesetzt werden. Zudem ist jede DAG-Ausführung nachvollziehbar – bis hin zu dem Datenprodukt, das sie gelesen oder geschrieben hat.
Gleichzeitig ist eine Kostenverfolgung integriert, die gewährleistet, dass Experimente nicht auf Kosten der Effizienz gehen. Daten, die in S3 geschrieben werden, müssen eine Time-to-Live (TTL) angeben, um eine automatische Bereinigung sicherzustellen. Athena-Abfragekosten und S3-Nutzungsmetriken fließen in Dashboards ein, die Optimierungsmöglichkeiten aufzeigen.
Durch dieses Gleichgewicht zwischen Freiheit und Kontrolle konnte Proofpoint die Anzahl der aktiven Detektoren erheblich skalieren und gleichzeitig vorhersehbare Kosten und die operative Stabilität beibehalten.
Völlig neuer Ansatz für die Erkennung neuer Bedrohungen
Die modulare Koordinierungsplattform ist nicht nur eine Infrastruktur: Sie steht für einen Wandel bei der Entwicklung von Innovationen. Analysten können mit dieser Proofpoint-Plattform sicher experimentieren, schnell validieren und die Ergebnisse zuverlässig bereitstellen. Damit wird die Bedeutung von Agilität im Kontext von Bedrohungserkennung im großen Maßstab neu definiert.
Durch die neue Plattform wurden Entwicklungszyklen von Monaten auf Tage verkürzt. Zudem wurde die Zusammenarbeit zwischen Forschung und Entwicklung intensiviert und dafür gesorgt, dass jede neue Erkenntnis schnell zu stärkerem Kundenschutz führen kann.
Wir bei Proofpoint glauben, dass die schnelle Anpassung an die immer neuen Tricks von Bedrohungsakteuren die Grundlage für moderne Cybersicherheit bildet. Diese Plattform hilft uns dabei, genau das zu tun – und die Geschwindigkeit, Präzision und Resilienz unserer Erkennungstechnologien in der globalen Bedrohungslandschaft kontinuierlich zu verbessern.
Werden Sie Teil unseres Teams
Unsere Mitarbeiter mit ihren vielfältigen Erfahrungen und Hintergründen sind für den Erfolg unseres Unternehmens maßgeblich. Wir setzen uns mit großem Engagement dafür ein, Mitarbeiter, Daten und Marken vor den hochentwickelten Bedrohungen und Compliance-Risiken von heute zu schützen.
Wir suchen die besten Mitarbeiter der Branche für folgende Aufgabenbereiche:
- Entwicklung und Verbesserung unserer bewährten Sicherheitsplattform
- Kombination von Innovation und Schnelligkeit in einer sich ständig weiterentwickelnden Cloud-Architektur
- Analyse neuer Bedrohungen und Bereitstellung umfassender Einblicke durch datenbasierte Bedrohungsinformationen
- Zusammenarbeit mit unseren Kunden, um die größten Herausforderungen im Bereich Cybersicherheit zu bewältigen
Weitere Informationen über die Karrieremöglichkeiten bei Proofpoint finden Sie auf der Jobs und Karriere-Seite.
Informationen zu den Autoren
Guy Sela
Guy Sela ist Principal Engineer und Chief Architect des Cloud DLP-Teams von Proofpoint. Mit über 19 Jahren Erfahrung in verschiedenen Softwarebereichen – darunter die Gründung seines eigenen Unternehmens für Poker-Trainingssoftware – bringt er eine Leidenschaft für den Aufbau skalierbarer, wirkungsvoller Lösungen mit. Er lebt mit seiner Frau Alejandra und ihrem Sohn Oz in Austin, Texas.
Sarah Skutch Freedman
Sarah Skutch Freedman ist Software/Data Engineer bei Proofpoint. Sie liebt die Herausforderung, Kosten und Effizienz in Einklang zu bringen, um komplexe Probleme im großen Maßstab zu lösen. Wenn sie gerade keine Daten-Pipelines optimiert, reist sie gerne. Sie liebt Koffein und Crossfit.
Sharon Rozinsky
Sharon Rozinsky ist ein erfahrener Software Engineer, der sich auf Backend- und Daten-Engineering spezialisiert hat. Er entwirft und baut mit Begeisterung groß angelegte Systeme, die für Endanwender großen Nutzen haben. In seiner Freizeit geht er gern Bouldern, fährt Rad oder baut mit seinen beiden Kindern Lego-Kreationen.
Nir Shneor
Nir Shneor ist Tech Leader mit umfangreichem Hintergrund in den Bereichen Softwarearchitektur und Backend-Engineering. Er hat Erfahrung in der Leitung von Teams in Startup-Umgebungen, im Aufbau von Produkten von Grund auf und in der Skalierung technischer Abteilungen. Nir Shneor unterstützt gern andere Menschen. Er löst mit großer Freude komplexe Probleme und erkundet die Natur beim Wandern. Er ist stolzer Vater von drei Jungen und ein zukunftsorientierter Visionär.
