Was ist KI-Sicherheit?

KI-Sicherheit schützt Ihr Unternehmen vor Risiken, die durch künstliche Intelligenz entstehen. Sie konzentriert sich auf die Sicherung von KI-Systemen, die Verhinderung von Datenkompromittierungen und die Abwehr von KI-gesteuerten Angriffen. Da KI immer mehr Teil der täglichen Arbeit wird, ist es für Sicherheitsteams in Unternehmen von entscheidender Bedeutung, diese Risiken zu verstehen und zu kontrollieren.

KI-Sicherheit umfasst eine Reihe von Praktiken und Kontrollen, die KI-Systeme und die KI-Nutzung in Unternehmen schützen. Sie hilft Sicherheitsteams, Modellmanipulationen, Prompt-Injection, Datenmanipulation, die Kompromittierung vertraulicher Daten, Schatten-KI, den Missbrauch von KI-Agenten und KI-gestützte Angriffe zu verhindern.

Die Sicherheit künstlicher Intelligenz deckt den gesamten KI-Lebenszyklus ab. Sie umfasst Trainingsdaten, die Modellentwicklung, Modell-Pipelines, APIs, Prompts, Ausgaben, KI-Agenten und Unternehmensworkflows, die davon abhängen.

Darüber hinaus beinhaltet KI-Sicherheit den sicheren Einsatz von KI-gestützten Cybersicherheitstools. Diese Tools können helfen, Bedrohungen zu erkennen, Risiken zu analysieren, Warnmeldungen zu priorisieren und die Reaktion zu verbessern, erfordern aber immer noch Governance und menschliche Aufsicht.

KI hilft heute bei der Einstellung von Personal, Erkennung von Betrug, beim Kundendienst, bei der Softwareentwicklung, bei Sicherheitsabläufen und Supply-Chain-Entscheidungen. Wenn diese Systeme ausfallen oder manipuliert werden, kann es zu Datenverlusten, Fehlentscheidungen, rechtlichen Risiken, Betriebsunterbrechungen und Vertrauensverlust kommen.

Generative KI verändert auch die Art und Weise, wie Mitarbeiter mit Daten arbeiten. Ein Anwender kann Quellcode, Verträge, Kundendaten, Finanzdaten oder Strategiedokumente in ein öffentliches KI-Tool einfügen, um Zeit zu sparen.

Durch KI-Copiloten und Agenten kann ein weiterer Kompromittierungsvektor entstehen. Werden Berechtigungen zu weit gefasst, rufen sie möglicherweise vertrauliche Dateien ab, fassen gesperrte Inhalte zusammen oder veranlassen Aktionen in Systemen, für die der Anwender keine Berechtigungen hat.

Angreifer nutzen KI, um bessere Köder zu schreiben, Phishing zu personalisieren, Stimmen zu klonen, die Erkennung zu automatisieren und Malware-Varianten zu testen. Dies erhöht die Geschwindigkeit und das Ausmaß von Angriffen auf Anwender, nicht nur auf Systeme.

KI-Sicherheit deckt drei Bereiche ab: die Absicherung von KI-Systemen, die Absicherung der Nutzung von KI durch Menschen und den Einsatz von KI zur Verbesserung der Cybersicherheit.

1. Absicherung von KI-Systemen

Diese Dimension schützt KI-Modelle, Trainingsdaten, Modell-Pipelines, APIs, Inferenzsysteme, KI-Anwendungen und KI-Infrastruktur. Sie soll verhindern, dass Angreifer Modelle manipulieren, geistiges Eigentum stehlen, Daten beschädigen oder KI-Ausgaben missbrauchen.

Zu den gängigen Kontrollen gehören die sichere Modellentwicklung, Datenvalidierung, Zugriffskontrolle, Modellüberwachung, Eingabe- und Ausgabeprüfungen sowie das Testen auf Risiken wie Datenmanipulation, Prompt-Injection, gezielte Angriffe und Supply-Chain-Kompromittierung.

2. Absicherung der KI-Nutzung

Diese Dimension bestimmt, wie Mitarbeiter, Auftragnehmer, Copiloten, Browser-Erweiterungen und KI-Agenten KI-Tools verwenden. Sie konzentriert sich auf genehmigte Anwendungen, Schatten-KI, vertrauliche Daten in Prompts, KI-generierte Ausgaben und Agentenberechtigungen.

Sicherheitsteams benötigen Transparenz dazu, wer KI verwendet, welche Daten in die Tools fließen, welche Ergebnisse zurückgegeben werden und ob diese Maßnahmen den Richtlinien entsprechen. Ohne diese Transparenz kann es außerhalb der normalen Sicherheitsüberprüfung zu KI-Datenlecks kommen.

3. Einsatz von KI zur Verbesserung der Cybersicherheit

Nutzen Sie KI, um Phishing zu erkennen, Anomalien zu identifizieren, Bedrohungsdaten zu erweitern, vertrauliche Daten zu klassifizieren, Warnmeldungen zu priorisieren und die Reaktion auf Zwischenfälle zu unterstützen. KI-Cybersicherheit muss dazu führen, dass Analysten schneller arbeiten können, ohne dass an wichtiger Stelle die menschlichen Überprüfungen entfallen.

Die größten KI-Cybersicherheitsrisiken betreffen Modelle, Daten, Prompts, Ausgaben, Anwender, Anbieter und KI-Agenten. Unternehmensteams müssen diese Risiken als Teil des zentralen Sicherheitsprogramms behandeln, nicht als separat zu untersuchendes Problem.

Datenmanipulation

Von Datenmanipulation spricht man, wenn Angreifer Trainingsdaten, Feinabstimmungsdaten oder Rückkopplungsschleifen ändern, um das Modellverhalten zu beeinflussen. Ein kompromittiertes Modell kann unsichere Empfehlungen aussprechen, schädliche Aktivitäten verbergen oder zu voreingenommenen Entscheidungen im großen Maßstab führen.

Prompt-Injection

Bei der Prompt-Injection werden schädliche Prompts, versteckte Anweisungen oder schädliche Inhalte verwendet, um das bestimmungsgemäße Verhalten eines KI-Systems außer Kraft zu setzen. Sie kann dazu führen, dass ein Modell Leitlinien ignoriert, vertrauliche Daten preisgibt oder Tools unsicher aufruft. Weitere Informationen finden Sie im Proofpoint-Leitfaden zur Prompt-Injection.

Gezielte Angriffe

Bei gezielten Angriffen werden Modelle durch spezielle Eingaben dazu gebracht, Inhalte falsch zu klassifizieren, Bedrohungen zu übersehen oder das falsche Ergebnis zu erzielen. In Bild-, Text-, Audio- oder Betrugssystemen können kleine Änderungen zu großen Fehlentscheidungen führen.

Modelldiebstahl und Reverse Engineering

Modelldiebstahl liegt vor, wenn Angreifer das Verhalten, die Parameter oder die Logik eines proprietären Modells durch wiederholte Abfragen oder kompromittierte Dateien extrahieren. In der Folge können geistiges Eigentum gestohlen, Dienste kopiert oder Sicherheitskontrollen einfacher umgangen werden.

Kompromittierung vertraulicher Daten

Zur Kompromittierung vertraulicher Daten kommt es, wenn Anwender vertrauliche Daten in KI-Tools eingeben, KI-Systeme gesperrte Dateien abrufen oder die Ausgaben private oder regulierte Informationen preisgeben. Ein starker KI-Datenschutz hilft Teams, diese Interaktionen zu sehen und zu kontrollieren.

Schatten-KI

Schatten-KI ist der Einsatz nicht zugelassener KI-Tools unter Umgehung der IT- und Sicherheitsaufsicht. Sie kann persönliche KI-Konten, unbefugte Browser-Plugins, KI-Anwendungen auf Abteilungsebene und Tools von Drittanbietern enthalten, die Unternehmensdaten verarbeiten.

Das zentrale Problem ist Transparenz. Sicherheitsteams können in KI-Tools, von deren Existenz sie nichts wissen, weder Richtlinien durchsetzen, noch ihre Nutzung überwachen oder Datenlecks verhindern.

KI-bezogene Supply-Chain-Risiken

KI-bezogene Supply-Chain-Risiken entstehen durch Modelle von Drittanbietern, Open-Source-Modelle, Datensätze, Bibliotheken, Plugins, APIs und Cloud-Dienste, mit denen KI-Systeme erstellt oder betrieben werden. Eine kompromittierte Komponente kann zu versteckten Schwächen im KI-Lebenszyklus führen.

Modell-Drift und Modellverfall

Modell-Drift tritt auf, wenn sich reale Daten ändern und ein Modell beginnt, von seinem ursprünglichen Verhalten abzuweichen. Modellverfall kann die Genauigkeit verringern, die Anzahl an False Positives erhöhen oder im Laufe der Zeit zu unsicheren Ausgaben führen.

Risiken durch KI-Agenten

KI-Agenten können Aktionen in E-Mails, Dateien, Ticket-Systemen, Code-Repositorys, Datenbanken und Cloud-Tools ausführen. Das macht übermäßige Berechtigungen, schwache Protokollierung, schlechte Tool-Kontrollen und mangelnde menschliche Aufsicht zu großen Risiken.

KI-Sicherheit und Cybersicherheit gehören zusammen. Die KI-Sicherheit erweitert die Cybersicherheit, um Risiken zu minimieren, die durch KI-Modelle, KI-Anwendungen, KI-Datenpipelines, KI-generierte Ausgaben und die KI-Nutzung in Unternehmen entstehen.

Bedrohungserkennung und Anomalieerkennung

KI kann große Mengen von Sicherheitsdaten analysieren, um anormales Verhalten von Anwendern, Geräten, Netzwerken und Cloud-Anwendungen zu erkennen. Sie hilft Teams, Muster zu erkennen, die für eine manuelle Überprüfung möglicherweise zu subtil oder zu schnell sind.

Erkennung von Phishing und Social Engineering

KI kann helfen, verdächtige Sprache, Absenderverhalten, Nachahmungsmuster, schädliche Links und ungewöhnliche Nachrichtenkontexte zu erkennen. Das ist wichtig, weil Angreifer KI nutzen, um Phishing-E-Mails überzeugender zu gestalten.

Analyse von Malware und Bedrohungsdaten

KI kann Indikatoren gruppieren, Warnmeldungen aussagekräftiger machen, Kampagnen zusammenfassen und neue Aktivitäten mit bekannten Bedrohungsmustern vergleichen. So schaffen Analysten den Sprung von der reinen Telemetrie zu nützlichem Kontext viel schneller.

Sicherheitsautomatisierung und Reaktion auf Zwischenfälle

KI kann Warnmeldungen zusammenfassen, die nächsten Schritte empfehlen, Hinweise zu Zwischenfällen verfassen und Fälle an das richtige Team weiterleiten. Sie soll Analysten unterstützen, aber nicht die endgültige Beurteilung von gefährlichen Zwischenfällen übernehmen.

Datenschutz und Erkennung von Anwenderrisiken

KI kann helfen, Daten zu klassifizieren, ungewöhnliche Zugriffe zu erkennen und riskantes Anwenderverhalten zu kennzeichnen, aus dem sich eine Gefahr ergeben könnte. Diese Funktionen sind nützlich, wenn Mitarbeiter KI-Tools über E-Mail-, Cloud- und Collaboration-Kanäle hinweg verwenden.

Wenn Sie KI-Systeme absichern wollen, fangen Sie bei der Transparenz an, bevor Sie Kontrollen anwenden, Daten schützen, den Zugriff einschränken, das Verhalten validieren und die Nutzung langfristig überwachen.

Erstellung eines KI-Inventars

Verfolgen Sie bekannte KI-Systeme, genehmigte Tools, Schatten-KI, Modelle, APIs, KI-Agenten, Datenquellen, Anbieter und verantwortliche Personen im Unternehmen. Ein Inventar zeigt, was existiert, wo es ausgeführt wird, welche Daten verarbeitet werden und wer verantwortlich ist.

Schutz von Trainingsdaten und Modell-Pipelines

Überprüfen Sie die Datenherkunft, schränken Sie den Zugriff auf Datensätze ein, überwachen Sie Änderungen und überprüfen Sie sie auf Manipulationen. Die sichere Modellentwicklung sollte Versionskontrollen, Genehmigungsworkflows und Überprüfungen der Komponenten von Drittanbietern umfassen.

Validierung von Eingaben und Ausgaben

Nutzen Sie Prompt-Filterung, Eingabevalidierung, Ausgabeüberwachung und Richtlinien bzw. Leitlinien. Diese Kontrollen verringern die Wahrscheinlichkeit, dass schädliche Prompts, kompromittierte Daten oder unsichere Reaktionen Anwender oder nachgelagerte Systeme beeinträchtigen.

Kontinuierliche Überwachung von KI-Systemen

Achten Sie auf Drift, Missbrauch, anormale Abfragen, Leistungsschwankungen, Missbrauchsmuster und unerwartete Ausgaben. Eine kontinuierliche Überwachung hilft den Teams, Risiken nach der Bereitstellung zu erkennen, da sich das KI-Verhalten ändern kann.

Governance des Zugriffs auf KI-Tools

Wenden Sie rollenbasierten Zugriff, das Least-Privilege-Prinzip, Protokollierung und Genehmigungsworkflows an. KI-Agenten benötigen besondere Aufmerksamkeit, da sie systemübergreifend agieren und nicht nur Fragen beantworten können.

Verhinderung der Kompromittierung vertraulicher Daten

Nutzen Sie Datenklassifizierung, Prompt-Überwachung, Richtliniendurchsetzung und unternehmensgerechte DLP-Kontrollen, um zu verhindern, dass vertrauliche oder regulierte Daten in unsichere KI-Tools gelangen. Wenden Sie diese Maßnahme auf genehmigte Tools, öffentliche Tools, Copiloten, Browser-Erweiterungen und Agenten an.

Testen auf KI-spezifische Bedrohungen

Führen Sie Red Teaming-Übungen, Testangriffe, Prompt-Injection-Tests, Modellevaluierungen und Missbrauchstests durch. Testen Sie das Modell, die Anwendung, die verbundenen Tools und den Anwender-Workflow.

KI-Sicherheit erfordert Governance, nicht nur technische Kontrollen. Teams müssen die zulässige Nutzung von KI definieren, verantwortliche Personen zuweisen, Entscheidungen dokumentieren und Audit-Protokolle für Systeme erstellen, die vertrauliche Daten verarbeiten oder wichtige Workflows implementieren.

Richtlinien zur zulässigen Nutzung von KI

Eine Richtlinie für die zulässige Nutzung von KI muss festlegen, welche Tools Mitarbeiter verwenden können, welche Daten sie eingeben können und welche KI-Ergebnisse überprüft werden müssen. Sie muss öffentliche GenAI-Tools, Copiloten, Agenten, Browser-Erweiterungen und Dienste von Drittanbietern abdecken.

KI-Risikomanagement

Das KI-Risikomanagement identifiziert, bewertet, reduziert und überwacht Risiken für Mitarbeiter, Systeme, Modelle, Anbieter und Daten. Sicherheitsteams müssen KI-Anwendungsfälle priorisieren, die vertrauliche Daten verarbeiten oder wichtige Entscheidungen treffen.

KI-Compliance und Audit-Vorbereitung

Die Audit-Vorbereitung hängt von Protokollen, Dokumentation, Erklärbarkeit, Zugriffsaufzeichnungen, Lieferantenüberprüfungen und Datenverarbeitungskontrollen ab. Teams müssen zeigen können, was ein KI-System getan hat, welche Daten es verwendet hat und wer es genehmigt hat.

Verantwortungsvolle KI und Sicherheit

Verantwortungsvolle KI und KI-Sicherheit überschneiden sich, sind aber nicht dasselbe. Verantwortungsvolle KI konzentriert sich auf eine sichere, faire, transparente und rechenschaftspflichtige Nutzung, während sich die KI-Sicherheit darauf konzentriert, Missbrauch, Manipulation, Kompromittierung und Angriffe zu verhindern.

Frameworks wie das AI Risk Management Framework des NIST, die KI-Sicherheitsleitlinien und die KI-Leitlinien der CISA/NSA können helfen, Kontrollen zu strukturieren. Nutzen Sie sie als Anleitung für die Implementierung, nicht als Ersatz für Transparenz und Durchsetzung.

AI Security Posture Management

Das Management der KI-Sicherheitslage hilft Teams, KI-Assets zu erkennen, Datenflüsse zuzuordnen, Konfigurationsfehler zu identifizieren und Risiken für Modelle, Anwendungen, Agenten und Infrastruktur zu bewerten.

Sicherheit von KI-Agenten

Bei der Sicherheit von KI-Agenten geht es hauptsächlich darum, dass autonome Systeme sicher, vorhersehbar und kontrolliert bleiben, wenn sie in echten Systemen arbeiten. Erwarten Sie mehr Aufmerksamkeit in Bezug auf Berechtigungen, Tool-Zugriff, Protokollierung und menschliche Genehmigungen.

KI-Leitlinien

KI-Leitlinien sind Kontrollen, die das Verhalten sowie die Eingaben, Ausgaben und Aktionen der KI gemäß bestimmter Richtlinien durchsetzen. Sie können Prompt-Regeln, Reaktionsfilter, Datenbeschränkungen und Genehmigungsanforderungen enthalten.

Sicherheit der KI-Supply-Chain

Die Sicherheit der KI-Supply-Chain wird immer wichtiger, weil Teams auf Modelle, Open-Source-Komponenten, Datensätze, Plugins und APIs von Drittanbietern angewiesen sind. Herkunftsnachweise, Validierungen und die Überwachung von Abhängigkeiten werden zu zentralen Kontrollmechanismen.

Automatisierung der KI-Governance

Die Automatisierung der KI-Governance kann dabei helfen, Richtlinien durchzusetzen, KI-Interaktionen zu überwachen, Verstöße zu melden und die Audit-Vorbereitung zu unterstützen. Dadurch werden aus KI-Richtlinien operative Kontrollen.

KI-gestützte Bedrohungen

KI-gestützte Bedrohungen werden das Phishing, Nachahmungen, Deepfakes, die automatisierte Aufklärung und das Social Engineering weiter perfektionieren. Sicherheitsprogramme müssen davon ausgehen, dass Angriffe stärker personalisiert werden und schwerer zu erkennen sein werden.

Proofpoint hilft Unternehmen, KI-bezogene Risiken zu reduzieren, indem es Personen, Daten und KI-Interaktionen im gesamten Unternehmen schützt. Sicherheitsteams können sich mit Proofpoint einen Überblick über die Nutzung von KI verschaffen, das Risiko vertraulicher Daten reduzieren, eine akzeptable Nutzung generativer KI durchsetzen und sich vor KI-gestützten Bedrohungen zu schützen.

Proofpoint AI Security wurde für den Einsatz von KI in Unternehmen durch Mitarbeiter, Agenten und verbundene Systeme entwickelt. Die Lösung hilft Teams dabei, KI-Aktivitäten zu erkennen, Laufzeitrichtlinien durchzusetzen und Audit-Protokolle für die Interaktionen zwischen Mitarbeitern und Agenten zu erstellen.

Proofpoint Data Security for AI unterstützt Teams bei der Überwachung und Kontrolle vertraulicher Daten in Prompts, Uploads und Reaktionen von GenAI in allen genehmigten und Schatten-KI-Tools. Die Lösung hilft bei der sichereren Einführung von KI, weil Teams damit Kompromittierungen reduzieren können, ohne die KI komplett stillzulegen.

Proofpoint Agentic AI Security hilft bei der Governance des Verhaltens von KI-Agenten durch Beobachtbarkeit der Laufzeitumgebung, Verhaltensüberwachung und absichtsorientierte Steuerelemente. Proofpoint AI MCP Security hilft bei der Durchsetzung von Authentifizierungen und der Untersuchung von Inhalten an der MCP-Grenze und unterstützt die Registrierung genehmigter Server.

Zusammen helfen diese Funktionen Unternehmen, die menschlichen und die Datenrisiken in Schach zu halten, die die Governance von Unternehmens-KI erschweren. Es geht nicht darum, die KI-Einführung zu verlangsamen, sondern darum, dass die Teams die notwendige Transparenz und Kontrollen für die sichere Nutzung der KI erhalten.