Reduzierung von GenAI-bezogenen Sicherheitsrisiken und Verhinderung von Datenverlusten

Die GenAI-bezogenen Sicherheitsrisiken bestehen darin, dass GenAI-Modelle und KI-gestützte Anwendungen vertrauliche Daten preisgeben, unsichere oder irreführende Ergebnisse erzeugen oder von Angreifern manipuliert werden können. Risiken entstehen meist durch Prompts, KI-Antworten, Trainingsdaten, Abrufdaten, Plugins, APIs und Verbindungen zu SaaS-Anwendungen, E-Mail, Cloud-Diensten und Collaboration-Tools.

Im Gegensatz zu herkömmlichen KI-Risiken beginnen die Sicherheitsrisiken von GenAI oft mit dem alltäglichen Anwenderverhalten. Mitarbeiter könnten vertrauliche Informationen in ein öffentliches KI-Tool einfügen, sich auf eine ungenaue Antwort verlassen oder KI-generierte Inhalte verwenden, die gegen eine Richtlinie verstoßen. Das Risiko beschränkt sich nicht auf das Modell, sondern erstreckt sich auch auf die Anwender, Daten und Arbeitsabläufe, die damit verbunden sind.

Arten von GenAI-Systemen

Der zunehmende Einsatz von generativer KI vergrößert die Risikofläche in Unternehmen. Zu den gängigsten GenAI-Tools gehören:

Große Sprachmodelle (LLMs), die Texte basierend auf Anwender-Prompts und Kontext generieren, zusammenfassen, übersetzen oder analysieren.

• KI-Copiloten, die Anwender in Produktivitäts-, Collaboration-, Entwicklungs- und Sicherheitstools unterstützen und häufig Zugriff auf Unternehmensdaten haben.
• Chatbots und virtuelle Assistenten, die Fragen beantworten, Unterstützung automatisieren oder Informationen aus verbundenen Quellen abrufen.
• Tools zur Code-Generierung, die Software erstellen, überprüfen oder transformieren und Sicherheitslücken verursachen können, wenn die Ausgabe nicht getestet und überprüft wird.
• Bild-, Audio- und Videogeneratoren, die synthetische Inhalte zur Unterstützung von Geschäftsprozessen erstellen, aber auch Nachahmung oder Betrug ermöglichen können.

GenAI-Systeme verwenden Modelle, die mit großen Datensätzen trainiert wurden, um neue Inhalte zu generieren. In Unternehmensumgebungen können Risiken in jeder Phase des KI-Workflows auftreten – von Anwender-Prompts und Unternehmensdaten bis hin zu Modellergebnissen und verbundenen Systemen. Sicherheitsteams müssen den gesamten KI-Workflow und seine Angriffsflächen absichern, nicht nur das Modell.

Eine typische GenAI-Interaktion sieht wie folgt aus:

1. Eingabe: Ein Anwender gibt einen Prompt ein, lädt eine Datei hoch, fügt Code ein oder bittet ein KI-Tool, Geschäftsdaten zu analysieren. In dieser Phase können vertrauliche Informationen preisgegeben werden, wenn Kontrollmechanismen fehlen.

2. Verarbeitung: Das Modell interpretiert den Prompt während der Inferenz. Retrieval-Augmented Generation (RAG), Einbettungen oder Kontextfenster können zusätzliche Unternehmensdaten in die Interaktion einbeziehen.

3. Ausgabe:

   Das KI-System generiert Texte, Code, Zusammenfassungen, Empfehlungen oder andere Inhalte. Die Ergebnisse können ungenau, böswillig beeinflusst oder zu aufschlussreich sein bzw. gegen Richtlinien verstoßen.

    

4. Integration: Plugins, APIs, Copiloten, Browser, E-Mail, Cloud-Speicher und SaaS-Integrationen können den Zugriff und die Einflussmöglichkeiten des KI-Systems erweitern.

5. Protokollierung und Aufbewahrung: Prompts, Ausgaben, Dateien und Metadaten können zu Prüfungs-, Verbesserungs- oder Fehlerbehebungszwecken gespeichert werden. Ohne geeignete Governance schaffen diese Datensätze zusätzliche Kompromittierungsrisiken.

GenAI verändert die Art und Weise, wie Mitarbeiter arbeiten, kommunizieren und Entscheidungen treffen. Diese Produktivitätssteigerungen bergen jedoch auch neue Risiken. Ein einziger unsicherer Prompt kann innerhalb von Sekunden regulierte Daten, geistiges Eigentum, Kundeninformationen oder Sicherheitsdetails offenlegen.

Datenverlust kann teuer sein. Laut IBM beliefen sich die durchschnittlichen Kosten einer Datenschutzverletzung im Jahr 2025 auf 4,44 Millionen US-Dollar, während Zwischenfälle durch böswillige Insider im Durchschnitt 4,92 Millionen US-Dollar kosteten. Gleichzeitig sehen sich Unternehmen mit wachsenden Compliance-Vorgaben und einem erhöhten Markenrisiko konfrontiert. Datenschutzverletzungen können Bußgelder, Audits und rechtliche Schritte nach sich ziehen und neue Vorschriften wie die EU-Verordnung über künstliche Intelligenz verstärken die Kontrolle der KI-Nutzung in Unternehmen.

Wichtige Gründe, warum GenAI-Sicherheit für Unternehmen entscheidend ist:

Erhöhtes personenbezogenes Risiko

Viele KI-bezogene Sicherheitszwischenfälle sind nicht das Ergebnis raffinierter Angriffe. Sie entstehen, wenn Mitarbeiter vertrauliche Daten in nicht genehmigte KI-Tools eingeben, ungenauen Ergebnissen vertrauen oder KI-generierte Inhalte nutzen, ohne diese zu überprüfen. Künstliche Intelligenz kann dazu führen, dass bereits bestehende personenbezogene Risiken häufiger ausgenutzt werden und mit zunehmenden Kosten verbunden sind.

Datenkompromittierung im großen Maßstab

Mitarbeiter nutzen KI-Tools, um Verträge zusammenzufassen, Kundendatensätze zu analysieren, E-Mails zu entwerfen, Fehler im Code zu beheben und vieles mehr. Ohne Transparenz darüber, wie KI eingesetzt wird, können vertrauliche Daten über Teams, Cloud-Anwendungen, Collaboration-Plattformen und Drittanbieterdienste verbreitet werden.

Compliance- und Governance-Druck

Datenschutz-, Branchen- und Vertragsbestimmungen gelten auch dann, wenn Daten für KI-Systeme freigegeben werden. Das betrifft Prompts, hochgeladene Dateien, Modellergebnisse, Protokolle und generierte Inhalte. Unternehmen sollten festlegen, welche KI-Tools Mitarbeiter nutzen dürfen, welche Daten sie eingeben dürfen und welche Aktivitäten eine Überwachung oder menschliche Prüfung erfordern.

Die größten Sicherheitsrisiken von GenAI kombinieren technische Schwächen mit menschlichem Verhalten und Datenkompromittierung. Sicherheitsverantwortliche sollten die Risiken priorisieren, die im Unternehmen vorhandene Workflows am ehesten beeinträchtigen.

• Datenlecks und übermäßige Frei- und Weitergaben: Mitarbeiter können Quellcode, Kundendaten, Finanzinformationen, Anmeldedaten, Details zu Fusionen und Übernahmen (M&A) oder andere vertrauliche Inhalte in KI-Tools eingeben, wo diese Informationen gespeichert, verarbeitet, protokolliert oder außerhalb zugelassener Kanäle offengelegt werden können.

• Prompt-Injection-Angriffe: Ein Prompt-Injection-Angriff verwendet böswillige Anweisungen, um ein KI-System zu manipulieren. Diese Anweisungen können von einem Anwender eingegeben, in einem Dokument oder einer E-Mail versteckt, in eine Webseite eingebettet oder über ein verbundenes Tool übermittelt werden.

• Modell- und Datenmanipulation: Angreifer könnten versuchen, die Trainingsdaten, Abrufquellen oder den Kontext eines Modells so zu beeinflussen, dass die Ausgaben verzerrt, irreführend, unsicher oder zur Datenexfiltration verwendet werden können.

• KI-generiertes Phishing und Social Engineering: GenAI-Tools können Angreifern helfen, raffinierte, personalisierte, mehrsprachige Nachrichten im großen Umfang zu erstellen. GenAI unterstützt außerdem Nachahmung, Business Email Compromise (BEC), gefälschte Support-Workflows und synthetische Medien.

• Schatten-KI und nicht genehmigte KI-Nutzung: Mitarbeiter könnten KI-Tools für Verbraucher, Browser-Erweiterungen oder nicht genehmigte Copiloten ohne Sicherheitsaufsicht einsetzen. Schatten-KI reduziert die Transparenz der Datenbewegungen und kann Unternehmenskontrollen umgehen.

• Fehlerhafte oder unsichere Ausgaben: KI-Systeme können überzeugende, aber falsche Antworten, unsicheren Code oder gegen Richtlinie verstoßende Inhalte generieren. Wenn Anwender diese Ausgaben ungeprüft nutzen, kann das betriebliche, rechtliche oder sicherheitsrelevante Konsequenzen für Unternehmen haben.

GenAI-Sicherheit sollte den sicheren Einsatz von GenAI-Technologie ermöglichen und Innovationen nicht behindern. Ziel ist es, Mitarbeitern genehmigte Wege zur Nutzung von KI zu bieten und gleichzeitig die Gefahr von Datenkompromittierungen zu verringern, riskantes Verhalten einzuschränken und die Kontrolle über den Einsatz von KI zu behalten. Folgende empfohlene Vorgehensweisen können hilfreich sein.

Implementieren Sie Datensicherheitskontrollen

Nutzen Sie Datenverlustprävention (DLP), Data Security Posture Management (DSPM) oder eine dedizierte Lösung für KI-Datensicherheit, um vertrauliche Daten in zugelassenen Tools und in Schatten-KI zu schützen. Achten Sie auf Funktionen wie Datenklassifizierung, Schwärzung, Verschlüsselung und Inhaltsprüfung, damit vertrauliche Informationen nicht in Prompts, Uploads, Browsersitzungen und KI-gestützte Workflows gelangen.

Setzen Sie Richtlinien zur akzeptablen Nutzung durch

Definieren Sie, welche KI-Tools Mitarbeiter nutzen und welche Daten sie eingeben können, welche Rollen auf bestimmte Funktionen zugreifen dürfen und wann eine menschliche Überprüfung erforderlich ist. Richtlinien sollten klar, praktikabel und durchsetzbar sein.

Überwachen Sie menschliches Verhalten und Risikosignale

Überwachen Sie die KI-Aktivitäten auf riskante Verhaltensweisen wie die Weitergabe vertraulicher Daten, wiederholte Richtlinienverstöße, ungewöhnliche Zugriffsmuster und die Gefährdung durch gezielte Bedrohungen. Mithilfe von Verhaltensanalysen können besonders riskante Anwender identifiziert sowie Schulungs-, Untersuchungs- und Durchsetzungsmaßnahmen gezielt ausgerichtet werden.

Erkennen und klassifizieren Sie vertrauliche Daten

Scannen Sie lokale und Cloud-Umgebungen, um vertrauliche Daten in strukturierten, halbstrukturierten und unstrukturierten Datenquellen zu finden und zu kennzeichnen. Nutzen Sie Klassifizierungen, um DLP-Richtlinien zu stärken und das Risiko zu verringern, dass vertrauliche Daten in KI-Workflows gelangen.

Kartieren und visualisieren Sie den Datenzugriff

Verschaffen Sie sich Informationen darüber, wer auf vertrauliche Daten zugreifen kann, wann der Zugriff erfolgt und wie die Daten verwendet werden. Erkennen Sie ungewöhnliche Aktivitäten und setzen Sie Zugriffsrechte nach dem Least-Privilege-Prinzip sowie die Zero-Trust-Prinzipien durch.

Sichern Sie KI-Integrationen und APIs ab

Verwenden Sie starke Authentifizierung, Least-Privilege-Zugriff, ein sicheres API-Design, zugelassene Plugins und Protokollierung, um KI-Integrationen abzusichern. KI-Tools sollten nur Zugriff auf die Systeme und Daten haben, die für ihren vorgesehenen Zweck erforderlich sind.

Schulen Sie Ihre Mitarbeiter im sicheren Umgang mit KI

Bieten Sie rollenbasierte Security-Awareness-Schulungen an, um Mitarbeitern zu vermitteln, was sie niemals in KI-Tools eingeben sollten, wie sie KI-generierte Inhalte überprüfen, KI-generiertes Phishing erkennen und unsichere oder nicht genehmigte KI-Nutzung melden können.

Bereiten Sie sich auf KI-bezogene Zwischenfälle vor

Aktualisieren Sie die Pläne zur Reaktion auf Zwischenfälle, um Prompt-Injection, Datenlecks, offengelegte Protokolle, kompromittierte Integrationen und schädliche KI-generierte Inhalte anzugehen. Sicherheitsteams sollten auf die Untersuchung von Prompts, Ausgaben, Anwenderaktivitäten, Toolzugriffen und Datenbewegungen vorbereitet sein.

Klassische Sicherheitskonzepte schützen Infrastrukturen, Identitäten, Endpunkte, Netzwerke, Anwendungen und Daten. GenAI-Sicherheit muss dieselben Ressourcen schützen und gleichzeitig das Modellverhalten, Anwender-Prompts, KI-generierte Ausgaben und den Datenfluss durch KI-Workflows verwalten.

Proofpoint unterstützt Unternehmen bei der Reduzierung der Datensicherheitsrisiken von GenAI, indem es die Anwender und Daten schützt, die im Zentrum der KI-Einführung stehen. Teams benötigen Einblick in die Nutzung genehmigter KI-Tools und Schatten-KI durch Mitarbeiter, in Kontrollmechanismen, die die Kompromittierung vertraulicher Daten verhindern, und in Anleitungen, mit deren Hilfe Anwender sicherere Entscheidungen treffen können.

Proofpoint Data Security for AI unterstützt Teams dabei, die Nutzung von genehmigter und Schatten-KI zu überwachen, vertrauliche Inhalte in Prompts und Uploads zu blockieren oder zu schwärzen und Daten abzusichern, ohne die sichere KI-Einführung zu behindern.

Mit Proofpoint AI Access Security können Unternehmen die Nutzung von KI erkennen, das Risiko von Schatten-KI reduzieren, Aktivitäten überprüfen, Audit-Protokolle pflegen und Richtlinien für KI-Interaktionen durchsetzen.

Kombiniert mit Proofpoint DLP, Proofpoint DSPM, Proofpoint Insider Threat Management, Proofpoint Core Email Protection und gezielten Security-Awareness-Schulungen unterstützt Proofpoint Unternehmen beim Schutz von Anwendern, Daten und KI-gestützten Workflows.

Fordern Sie eine individuelle Demo an, um mehr darüber zu erfahren, wie Proofpoint KI-gestützte Workflows absichert und von Anwendern verursachte KI-Risiken reduziert.