Was ist KI-Governance?

KI-Governance umfasst die Frameworks und Richtlinien, die eingerichtet werden, um die ethische, regelkonforme und sichere Nutzung der KI-Systeme in einem Unternehmen zu kontrollieren. Gute Governance möchte sicherstellen, dass KI risikoeffizient und im Rahmen der geltenden Gesetze eingesetzt wird und gleichzeitig einen Mehrwert für das Unternehmen liefert. Sie bietet Frameworks für die Analyse und Kontrolle von Risiken, eine Modellüberwachung, das Recht auf Erläuterung von Bedingungen, Frameworks zur Rechenschaftspflicht und Datenschutzmaßnahmen.

KI-Governance erstreckt sich über alle Branchen – von den Vorstandsetagen der Konzerne bis hin zu akademischen Einrichtungen. Die breite Nutzung von großen Sprachmodellen (LLMs) wie ChatGPT und Claude bedeutet, dass KI-Systeme für fast jeden vernetzten Anwender erreichbar sind. Diese GenAI-Systeme beantworten Fragen und erstellen verschiedene Arten von Inhalten. Die jüngste Welle agentenbasierter KI-Systeme und autonom operierender „Copiloten“ erhöht das Risiko für Unternehmen zusätzlich, da diese Systeme schnell in ihre alltäglichen Arbeitsabläufe integriert werden. KI-Systeme schaffen beispiellose und sich schnell verschärfende Risiken.

Für Cybersicherheitsteams überschneidet sich die KI-Governance mit nahezu allen bestehenden Problemen. Mit Daten trainierte KI-Modelle sind gefährdete Angriffsvektoren, die unglaublich anfällig für Datenlecks sind. Mitarbeiter, die unbefugte KI-Tools verwenden, führen zu neuen Insider-Bedrohungsszenarien, die Unternehmen noch nicht antizipiert haben. Und die neueste Generation von Cyberkriminellen manipuliert KI-Modelle durch Prompt-Injection oder Datenmanipulation.

Die Etablierung eines zuverlässigen KI-Governance-Programms ist daher entscheidend, um diese Risiken zu mindern. Solche Programme schaffen Sicherheitskontrollen und integrieren diese direkt in die Entwicklung, Bereitstellung und Überwachung von KI im gesamten Unternehmen.

KI-Governance erfordert sofortiges Handeln. Unternehmen integrieren LLMs und agentenbasierte KI rasant in E-Mail-, Collaboration-Tools und Sicherheitsplattformen – doch diese überstürzten Implementierungen schaffen massive Sicherheitslücken, die den meisten Unternehmen noch nicht bewusst sind.

„LLMs werden mittlerweile in allen Bereichen eingesetzt, vom Kunden-Support bis zur Cybersicherheit, was sie zu begehrten Zielen für Missbrauch und Angriffe macht“, warnt Itir Clarke, Product Marketing Group Manager für Informations- und Cloud-Sicherheitslösungen bei Proofpoint. „Wenn etwas schiefgeht, können die Auswirkungen erheblich sein.“

Der regulatorische Druck ist unerbittlich, sei es die EU-Verordnung über künstliche Intelligenz, die strenge Bedingungen für risikoreiche KI festlegt, oder die US-Präsidialverordnungen, die Transparenz- und Sicherheitsanforderungen für die Nutzung von KI in staatlichen Einrichtungen vorschreiben. Geldstrafen, rechtliche Schritte und ein beschädigter Ruf sind die wahrscheinlichen Folgen für CISOs, die diese Vorgaben ignorieren.

Künstliche Intelligenz wird bereits von Bedrohungsakteuren eingesetzt, um die Aufklärung zu automatisieren und ausgefeiltere und gezieltere Phishing-Angriffe durchzuführen. Angesichts solcher Bedrohungen und der Notwendigkeit, eigene KI-Systeme sicher bereitzustellen, wird effektive KI-Governance noch dringlicher.

„KI-Modelle lernen permanent und verändern sich ständig weiter. Sie passen sich an, wenn sie neue Daten aufnehmen und auf neue Weise Entscheidungen treffen“, so Clarke. „Doch viele Governance-Systeme sind langsam, veraltet und von manuellen Prüfungen, alten Dateninventaren sowie von strikten Kontrollen abhängig.“

Effektive KI-Governance befolgt eine Reihe von Grundprinzipien, die definieren, wie ein Unternehmen die Implementierung und Verwaltung seiner KI-Systeme durchführen sollte. Diese Prinzipien bilden die Grundlage für Strategien und operative Verfahren zur Risikominderung.

Transparenz und Erklärbarkeit

Viele Unternehmen verhalten sich insofern fahrlässig, als dass sie nicht vollständig verstehen, wie ihre KI-Modelle Entscheidungen treffen und Verhalten modellieren. Teams benötigen vollständige Transparenz und umfassende Kenntnis darüber, aus welchen Quellen die Trainingsdaten stammen und wie die Entscheidungslogik funktioniert. Dies muss klar erklärbar und so dokumentiert sein, dass es von den Verantwortlichen überprüft und auditiert werden kann.

Rechenschaftspflicht und menschliche Aufsicht

Anwender müssen die Verantwortung für die Ergebnisse der KI übernehmen und die Systementscheidungen aktiv überwachen. Die Einbindung der Anwender ist unerlässlich, um klare Rechenschaftsstrukturen für wichtige Entscheidungen zu schaffen. Zudem stellt diese Aufsichtsmaßnahme sicher, dass es für den Fall, dass KI-Modelle außer Kontrolle geraten oder sich unerwartet verhalten, Eskalationspfade gibt.

Security-by-Design

Sicherheitskontrollen sollten integraler Bestandteil der Entwicklung von KI-Systemen sein. Beispiele für Security-by-Design sind die sichere Speicherung von Modellen, verschlüsselte API-Kommunikation, Zugriffskontrollen für Trainingsdaten und Schutz vor Angriffen, z. B. gegen Prompt-Injection.

Fairness und Vermeidung von Verzerrungen

KI-Modelle, die mit verzerrten Daten trainiert wurden, erzeugen verzerrte Ergebnisse. Frameworks für KI-Governance prüfen und mindern regelmäßig Verzerrungen, um diskriminierende Ergebnisse zu verhindern, die Schaden anrichten, Falschinformationen verbreiten oder zu Verstößen gegen regulatorische Bestimmungen führen können.

Datenqualität und -integrität

KI-Systeme sind nur so genau und effektiv wie die Daten, mit denen sie trainiert werden. „Pflegen Sie ein eindeutiges, aktuelles Inventar aller Datensätze, die von der KI verwendet werden. Dazu müssen Sie wissen, woher Ihre Daten stammen, welche Informationen die Datensätze enthalten, wer darauf zugreifen kann und wie sie verwendet werden“, erklärt Clarke.

Compliance und Auditfähigkeit

KI-Systeme müssen über Audit-Protokolle verfügen, um die Einhaltung von Compliance-Vorschriften ordnungsgemäß nachzuweisen. Diese auditfähigen Protokolle dienen dazu, die Entscheidungen des Modells zu erfassen und die Datennutzung zu verfolgen, sodass Regulierungsbehörden oder interne Teams diese bei Bedarf überprüfen und untersuchen können.

Modell-Lebenszyklusmanagement

Wie jede Plattform auf Unternehmensebene benötigen insbesondere KI-Modelle ein aktives Lebenszyklusmanagement. Dieses wichtige Framework regelt jede Modellphase – von der Entwicklung und Versionierung über Tests und Bereitstellung bis hin zur Außerbetriebnahme.

Überwachung und Reaktion auf Zwischenfälle bei KI-Systemen

Neben der menschlichen Aufsicht sind zusätzliche Formen der kontinuierlichen Überwachung wichtig, um Abweichungen der Modelle vom erwarteten Verhalten oder die Erzeugung schädlicher oder ungenauer Ergebnisse zu erkennen. Es sollten Pläne zur Reaktion auf Zwischenfälle implementiert werden, um Teams Anweisungen für das Vorgehen im Falle eines Fehlers oder eines kompromittierten KI-Systems zu geben.

KI-Ethik und KI-Governance sind trotz aller Unterschiede miteinander verbunden und werden oft irrtümlich verwechselt. Ethik ist die philosophische Grundlage, die allgemeine Prinzipien der Transparenz und der Achtung der Menschenwürde etabliert. Governance geht noch einen Schritt weiter, indem sie diese Werte durch durchsetzbare Richtlinien, messbare Kontrollen und Rechenschaftsmechanismen in die operative Realität umsetzt.

Sehr häufig veröffentlichen Technologieunternehmen eine ambitionierte Ethikerklärung, ohne vorher die notwendige Infrastruktur für die Durchsetzung dieser Erklärung aufzubauen. In der Öffentlichkeit betonen sie weiterhin ihr Engagement für verantwortungsvolle KI, versäumen es aber, die notwendigen Systeme für eine effektive Steuerung einzuführen. Sie werben mit dem Versprechen von Transparenz, können aber nicht genau erklären, wie ihre Systeme Entscheidungen treffen. Diese Diskrepanz zwischen Ethik und Governance setzt Unternehmen genau den Risiken aus, die sie angeblich verhindern wollen.

Sicherheitsteams sind entscheidend, um diese Diskrepanz zu beheben. Ohne technische Kontrollmechanismen, die die Probleme angehen, sind ethische Prinzipien bedeutungslos. Eine Verpflichtung zu Datenschutz erfordert Verschlüsselung, Zugriffskontrollen und Überwachungssysteme, die nicht autorisierte Datenzugriffe erkennen. Der Sinn von KI-Governance besteht darin, die Kluft zwischen den ethischen Versprechen eines Unternehmens und seinem tatsächlichen Handeln zu überbrücken.

Kurz gesagt: Regulierungsbehörden akzeptieren gute Absichten nicht als Nachweis über die Einhaltung der Compliance-Vorschriften. Sie verlangen eine transparente Dokumentation, aktuelle Audit-Protokolle und einen tatsächlichen Nachweis dafür, dass die Kontrollmechanismen wie vorgesehen funktionieren. Ohne diese Kontrollmechanismen sind Unternehmen zunehmenden Risiken ausgesetzt, auf die Governance-Frameworks reagieren müssen.

Künstliche Intelligenz bringt ein komplexes Netz aus Risiken in den Bereichen Sicherheit und Compliance sowie in operativen Bereichen mit sich. Ein umfassendes Governance-Framework wehrt solche Bedrohungen durch mehrstufige Kontrollen und kontinuierliche Überwachung ab.

• Datenlecks und Datenkompromittierung: Vertrauliche Informationen, die in KI-Modelle eingehen, bergen ein anhaltendes Risiko für Datenkompromittierungen. Mitarbeiter kopieren und fügen geheime Informationen in KI-Tools ein, ohne die Datenaufbewahrungsrichtlinien zu kennen. Schatten-KI verstärkt die Insider-Bedrohung, indem sie leistungsstarke Self-Service-Funktionen bereitstellt, die die IT-Kontrolle und -Überwachung umgehen.
• Halluzinationen und irreführende Ergebnisse: LLMs können sehr überzeugende, aber komplett erfundene Inhalte generieren. Solche Halluzinationen bergen Haftungsrisiken, wenn KI-generierte Inhalte die Interaktion mit Kunden und Geschäftsentscheidungen beeinflussen. Unternehmen benötigen Validierungsebenen, um potenziell schädliche Ergebnisse zu verhindern.
• Nicht autorisierter Zugriff auf Modelle und APIs: KI-Modelle und APIs werden zu begehrten Zielen für Angreifer. Zum einen können gestohlene Modellgewichte durch Reverse Engineering analysiert und relevante Trainingsdaten extrahiert werden. Zum anderen können dem Modell unsichere Trainingsdaten hinzugefügt werden, um schädliche Ergebnisse zu erzielen. Zugriffskontroll- und Authentifizierungsebenen schützen diese Assets.
• Risiken hinsichtlich Verzerrung, Diskriminierung und Fairness: Auf Basis historischer Daten trainierte Modelle etablieren gesellschaftliche Verzerrungen. Solche Verzerrungen können zu Diskriminierung bei der Einstellung von Mitarbeitern, der Kreditvergabe oder im Kundendienst führen. Durch regelmäßige Tests und Gegenmaßnahmen kann die Wahrscheinlichkeit schädlicher Verzerrungen in Produktionssystemen jedoch verringert werden.
• Nichteinhaltung von Compliance-Vorschriften: Neue KI-bezogene Gesetze stellen strenge Anforderungen an die Transparenz von Modellen, Datenverarbeitung und Risikobewertung. Unternehmen, die diese Standards nicht erfüllen, müssen mit Geldstrafen und Klagen rechnen. Governance-Frameworks sorgen dafür, dass die Einhaltung von Compliance-Vorschriften in die Entwicklungsprozesse integriert wird.
• Risiken in Bezug auf geistiges Eigentum und Urheberrecht: Die Verwendung von KI-Modellen, die mit urheberrechtlich geschütztem Materialien trainiert wurden, wirft Fragen hinsichtlich der Zuständigkeit bei solchen Modellen und der Nutzungsrechte auf. Ohne lückenlose Herkunftsnachweise setzen KI-gestützte Inhaltsgeneratoren Unternehmen dem Risiko aus, gegen Gesetze zum Schutz von geistigem Eigentum zu verstoßen.
• KI-gestützte Cyberbedrohungen: Künstliche Intelligenz beschleunigt kriminelle Operationen auf allen Ebenen. Deepfakes umgehen mittlerweile Systeme zur Identitätsprüfung, während KI-gestützte Phishing-Kampagnen sich in Echtzeit an die Opfer anpassen und personalisierte Nachrichten erstellen, die von herkömmlichen Filtern übersehen werden. Automatisierte Aufklärungstools suchen derweil rund um die Uhr nach Schwachstellen und identifizieren und nutzen diese schneller aus, als jedes menschliche Sicherheitsteam reagieren kann.

Diese zunehmenden Bedrohungen erfordern strukturierte Abwehrmaßnahmen. Unternehmen können KI-bedingte Risiken nicht mit Ad-hoc-Richtlinien oder guten Absichten bekämpfen. Sie benötigen die folgenden umfassenden Frameworks, die der Komplexität der Angriffe, denen sie ausgesetzt sind, gerecht werden.

Die folgenden Frameworks helfen dabei, Theorie und Praxis durch entscheidungsrelevante Standards und Kontrollen zur Einhaltung der Vorschriften zu verbinden.

KI-Prinzipien der OECD

Die KI-Prinzipien der OECD (OECD AI Principles) waren der erste zwischenstaatliche Standard für die KI-Governance. Sie wurden 2019 verabschiedet und 2024 überarbeitet. Sie legen den Schwerpunkt auf die folgenden fünf Werte: inklusives Wachstum und Wohlergehen, Menschenrechte und demokratische Werte, Transparenz und Erklärbarkeit, Robustheit und Sicherheit sowie Rechenschaftspflicht. Diese Prinzipien beeinflussen weiterhin die nationale KI-Politik in den OECD-Ländern und den G20-Staaten.

EU-Verordnung über künstliche Intelligenz (Compliance-Frist 2025)

Die EU-Verordnung über künstliche Intelligenz (EU AI Act) trat im August 2024 in Kraft und enthält Compliance-Fristen, die Unternehmen beachten müssen. Ab dem 2. August 2025 gelten die wichtigsten Anforderungen. Bei Nichteinhaltung werden strenge Strafen verhängt, darunter Geldbußen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes. Das Gesetz verbietet bestimmte risikoreiche KI-Anwendungen und legt den Foundation Models erhebliche Verpflichtungen hinsichtlich ihrer Transparenz auf.

NIST-Framework für KI-Risikomanagement

Das im Januar 2023 veröffentlichte NIST-Framework für KI-Risikomanagement (NIST AI Risk Management Framework, NIST AI RMF) bietet einen strukturierten Governance-Ansatz mit vier Hauptfunktionen: Governance, Zuordnung, Messung und Verwaltung. Das Framework wurde für Flexibilität bei unterschiedlichen Risikoprofilen entwickelt und orientiert sich an den umfassenderen Cybersicherheitsstandards des NIST sowie an der US-Präsidialverordnung zu KI von 2023.

ISO/IEC 42001 (KI-Managementsystem)

ISO/IEC 42001 ist der erste internationale Standard, der zu Entwicklung und Betrieb eines KI-Managementsystems veröffentlicht wurde. Er deckt den gesamten KI-Lebenszyklus von der Ideenfindung bis zur Bereitstellung ab und ergänzt Managementsysteme in Unternehmen. Der Standard ermöglicht Risikobewertung und -management, Abschätzung von Auswirkungen und Datenschutz sowie die kontinuierliche Verbesserung.

US- Präsidialverordnung zu sicherer und vertrauenswürdiger KI

Diese Präsidialverordnung (Executive Order), die am 30. Oktober 2023 in Kraft trat, legt Standards für die Bewertung der Sicherheit von KI, Sicherheitstests und Transparenz fest. Sie weist Bundesbehörden an, KI-Risiken für kritische Infrastrukturen zu steuern, und verpflichtet Unternehmen, die an leistungsstarken Foundation Models arbeiten, dem Staat über ihre Aktivitäten zu berichten.

Laut Clarke „deutet dies darauf hin, dass zukünftig mit umfangreicher KI-Governance zu rechnen ist. Um Schritt zu halten, benötigen Unternehmen flexible Compliance-Strategien die sich an neue Regeln anpassen, damit nicht jede Änderung hektische Reaktionen nach sich zieht.

Führende Unternehmen befolgen diesen Rat bereits und entwickeln Governance-Programme, die regulatorische Änderungen antizipieren, anstatt darauf zu reagieren.

Beispiele aus der Praxis zeigen, wie Unternehmen die Governance-Prinzipien anwenden und den Mehrwert von Überwachung für verschiedene Bereiche umsetzen.

Finanzdienstleistungen

Banken legen Schutzmechanismen für kundenorientierte LLMs fest, um zu verhindern, dass vertrauliche Kontoinformationen in Trainingsdatensätze oder externe Systeme gelangen. Zugriffsbeschränkungen begrenzen, welche Mitarbeiter mit KI-Systemen interagieren dürfen, die zur Verarbeitung von Daten in automatisierten, KI-gestützten Finanzdokumenten verwendet werden. Automatisierte Systeme, die Echtzeitüberwachung durchführen, sind so eingestellt, dass sie verdächtige Anfragen überwachen, die auf die Extrahierung vertraulicher, geschützter Daten abzielen.

Gesundheitswesen

Eine medizinische Einrichtung nutzt KI-gestützte Überwachung, um den Zugriff auf Patientenakten zu überwachen und verdächtige Zugriffsmuster zu erkennen, die möglicherweise gegen die HIPAA-Datenschutzstandards verstoßen. KI-Tools, die Patientendaten für automatisierte klinische Entscheidungshilfesysteme analysieren, unterliegen strengeren Regulierungen als Tools, die andere klinische Unterstützung bieten.

Fertigung

Im operativen Kontext werden prädiktive Wartungstools, die KI und andere fortschrittliche Technologien für die automatisierte Wartung nutzen, nach Risikograd klassifiziert. Unternehmen, die diese Tools einsetzen, haben die Risiko-Genehmigungsprozesse für Tools mit geringerem Risiko automatisiert und andere Risikoklassifizierungstools für Tools mit höherem Risiko weiterentwickelt.

Cybersicherheit

Im Bereich der Cybersicherheit werden Schutzmaßnahmen relevanter, wenn ein Mitarbeiter versucht, ein nicht reguliertes KI-Tool zur Analyse von Daten innerhalb proprietärer Bedrohungsdaten zu verwenden. Zentralisierte Governance-Frameworks ermöglichen proaktiven Schutz durch die Vorhersage und Automatisierung von Reaktionen auf Muster von KI-Missbrauch. Dadurch können Sicherheitsteams Datenflüsse besser überwachen, mögliche Gefährdungen bewerten, Zugriffe widerrufen und Maßnahmenpläne zur Behebung identifizierter Sicherheitslücken umsetzen.

KI-Governance erfordert funktionsübergreifende Zuständigkeit mit klarer Rechenschaftspflicht auf jeder Ebene.

CISOs sind für die Sicherheit von KI-Systemen verantwortlich. Dies bedeutet, dass sie die Sicherheitsvorkehrungen für den Datenschutz kontrollieren, die Reaktion auf Zwischenfälle im Zusammenhang mit KI definieren und sicherstellen, dass für KI-Tools die gleichen Sicherheitsstandards gelten wie für andere Unternehmenssysteme. Sie verwalten außerdem die Bedrohungsmodellierung im Zusammenhang mit Schwachstellen in KI-gestützten Angriffen und dem Schutz vor Datenmanipulation.

Während des Lebenszyklus eines Modells sind die CTOs und technischen Leiter für die Governance-Maßnahmen für KI-Tools zuständig. Sie gewährleisten die Einhaltung von Entwicklungsstandards, verwalten die Governance-Maßnahmen für Modelltests und -validierungen und pflegen Register, in denen die verwendeten KI-Systeme und deren Ergebnisse erfasst werden.

Die Compliance-Teams und die Rechtsabteilung setzen Richtlinien durch, die die Umsetzung von Vorschriften dokumentieren, und überprüfen den sich kontinuierlich entwickelnden Rahmen der EU-Verordnung über künstliche Intelligenz (EU AI Act), um sicherzustellen, dass das Unternehmen über ausreichende Audit-Protokolle für die Einhaltung der Vorschriften verfügt. Die Personalabteilung und das Team für interne Kommunikation steuern die Mitarbeiterführung und die Interaktion mit KI-Tools. Sie setzen Richtlinien zur zulässigen Nutzung um, schulen Mitarbeiter zu genehmigten, KI-gestützten Arbeitsabläufen und kommunizieren Änderungen bei den Governance-Maßnahmen umgehend.

Von den Mitarbeitern wird erwartet, dass sie die Richtlinien befolgen. Diese umfassen die ausschließliche Verwendung genehmigter KI-Tools, das Verbot der Weitergabe vertraulicher Daten an öffentliche KI-Systeme und die Meldung jeglicher Verstöße gegen die Governance-Maßnahmen. Das bedeutet, dass Mitarbeiter ausschließlich zugelassene KI-Tools nutzen dürfen und riskante Verhaltensweisen wie das Kopieren und Einfügen vertraulicher Daten in öffentliche Modelle vermeiden müssen. Mitarbeiter sind auch verantwortlich, potenzielle Governance-Verstöße zu melden.

Governance-Prinzipien können erst mit der richtigen Technologieinfrastruktur wirksam werden, die sie unterstützt. Intelligente Tools wandeln papierbasierte Richtlinien in automatisierte Kontrollmechanismen um, die im gesamten Unternehmen funktionieren.

Tools zur Überwachung und Beobachtung von Modellen

Diese Plattformen überwachen die Leistung von KI-Modellen in Produktionsumgebungen. Beobachtungstools sind darauf ausgelegt, „Abweichungen“ zu erkennen, wenn die Richtigkeit der Ergebnisse langfristig abnimmt, und Warnungen auszugeben, wenn die Ergebnisse von den erwarteten Mustern abweichen. Für die Beobachtbarkeit entwickelte Tools liefern Einblicke in die reale Leistung der Modelle.

Systeme zur KI-Richtlinienverwaltung

Plattformen für die Richtlinienverwaltung unterstützen Unternehmen bei der Formulierung, Versionierung und Weitergabe von KI-Governance-Richtlinien innerhalb und zwischen Teams. Sie automatisieren Genehmigungsprozesse für die Bereitstellung von Modellen und stellen sicher, dass Teams die Einhaltung von Richtlinien vor der Systemaktivierung überprüfen. Diese Systeme erstellen Audit-Protokolle, die dokumentieren, welche Entscheidungen von wem und zu welchem Zeitpunkt getroffen wurden.

Datenverlustprävention für KI-Workflows

Lösungen für Datenverlustprävention (DLP), die für KI und KI-gestützte Workflows entwickelt wurden, sorgen dafür, dass sensible und vertrauliche Daten nicht in nicht autorisierte Systeme gelangen. Sie verfolgen die Aktivitäten der Anwender in KI-Tools und verhindern das Einfügen vertraulicher Informationen in öffentliche KI-Modelle. Unternehmen mit ausgereiften Datenschutzstrategien können vorhandene DLP-Lösungen erweitern, um KI-spezifische Risiken wie ungeschützte Trainingsdaten, Prompt-Injection-Angriffe und offengelegte kritische Workflows zu mindern.

Identitäts- und Zugriffsmanagement für KI-Systeme

IAM-Kontrollen und -Richtlinien bestimmen den Zugang zu KI-Modellen, APIs und Trainingsdaten. Rollenbasierte Berechtigungen gewährleisten, dass nur autorisierte Anwender mit besonders riskanten Systemen interagieren. Starke Authentifizierungsmaßnahmen schützen vor nicht autorisiertem Zugriff auf Modelle, der zu Datenextraktion oder -manipulation führen könnte.

Sichere API-Gateways

APIs setzen Sicherheitsrichtlinien auf der Integrationsebene durch, wo Anwendungen mit KI-Diensten interagieren. Sie authentifizieren Anfragen, begrenzen die Anfragerate, um eine missbräuchliche Nutzung zu verhindern, und protokollieren alle Interaktionen zur forensischen Analyse.

Protokollierung, Auditierung und Forensik für KI

Eine umfassende Protokollierung erfasst die Eingaben in und die Ergebnisse von KI-Modellen sowie ihre Entscheidungswege. Die dabei generierten Protokolle sind nützlich für Compliance-Berichte und forensische Analysen, um die Ursachen eines unerwarteten Verhaltens von KI-Systemen zu verstehen. Audit-Protokolle liefern Regulierungsbehörden den Nachweis, dass die Governance-Kontrollen wie vorgesehen funktionieren.

Data Security Posture Management (DSPM) für KI-Governance

DSPM-Lösungen erfüllen den Aspekt der KI-Governance, indem sie die während des Trainings und der Feinabstimmung von KI-Modellen verwendeten Daten überwachen und kontrollieren. Unternehmen wissen oft nicht, welche Datensätze beim Training von KI-Systemen verwendet werden. Das birgt das Risiko, vertrauliche Daten offenzulegen und zu missbrauchen. Bevor vertrauliche Daten die KI-Training-Pipelines erreichen, überwachen DSPM-Systeme die Erkennung und Klassifizierung der Daten.

Dadurch können Sicherheitsteams Richtlinien gewährleisten und durchsetzen, die die nicht autorisierte Nutzung von geschütztem geistigen Eigentum, vertraulichen Dokumenten, Kundenlisten oder personenbezogenen Daten verhindern.

„KI-Modelle lernen permanent und verändern sich ständig weiter. Sie passen sich an, wenn sie neue Daten aufnehmen und auf neue Weise Entscheidungen treffen“, so Clarke. „Doch viele Governance-Systeme sind langsam, veraltet und von manuellen Prüfungen, alten Dateninventaren sowie von strikten Kontrollen abhängig.“

Beim Streben nach KI-Governance erkennen Unternehmen sehr schnell, dass dafür nachhaltige strategische, unternehmerische und kulturelle Anstrengungen erforderlich sind. Hier sind einige potenzielle Hindernisse, auf die Unternehmen häufig stoßen:

• Hochdynamische Bedrohungen: Die Fähigkeiten von KI und die Angriffsmethoden entwickeln sich so rasant, dass Governance-Frameworks Mühe haben, mit dieser Entwicklung Schritt zu halten. Unternehmen müssen ihre Richtlinien kontinuierlich überarbeiten, um neu auftretende digitale Risiken wie neue Prompt-Injection-Techniken oder ausnutzbare Schwachstellen in KI-Modellen zu minimieren.
• Mangel an hausinternem Fachwissen: Die meisten Unternehmen beschäftigen keine Fachkräfte mit Fachwissen sowohl in KI-Technologie als auch in den damit verbundenen Governance-Herausforderungen. Das erschwert die Entwicklung effektiver Kontrollmechanismen und die Fehlerbehebung bei Modellverhalten in Krisensituationen.
• Nutzung von Schatten-KI und dezentralen Modellen: Mitarbeiter verschiedener Abteilungen nutzen nicht autorisierte KI-Tools ohne koordinierte Überwachung. Diese unbefugten Systeme schaffen blinde Flecken mit Risiko für potenzielle Datenlecks, nicht überwachte Compliance-Risiken und regulatorische Risiken.
• Schwierigkeiten bei der Vereinheitlichung von Daten- und Modell-Governance: Unternehmen sind nicht in der Lage, verteilte KI-Modelle, Datenquellen und Governance-Frameworks zusammenhängend zu integrieren. Unterschiedliche Teams arbeiten oft mit unterschiedlichen, sogar widersprüchlichen Kontrollsystemen, was zu Lücken in der Einhaltung von Compliance-Vorschriften und der Überwachung führt.
• Gleichgewicht zwischen Innovation und Risikominimierung: Übermäßig restriktive Governance-Maßnahmen verlangsamen die Einführung von KI und verärgern Teams, die um Wettbewerbsvorteile kämpfen.
• Mangel an Tools oder unausgereifte Prozesse: Die meisten Überwachungsfunktionen werden noch immer manuell ausgeführt, was die Effizienz der Compliance einschränkt und zu Fehlern führt. Dadurch entstehen Lücken, die das Unternehmen durch einen verstärkten KI-Einsatz nicht schließen kann.

Die Governance-Landschaft wandelt sich weg von statischen Richtlinien hin zu kontinuierlichen Überwachungssystemen. Unternehmen erkennen, dass herkömmliche Governance-Prozesse mit der Geschwindigkeit und dem Umfang der KI nicht mithalten können. Automatisierte Überwachung und integrierte Kontrollmechanismen ersetzen regelmäßige Überprüfungen und manuelle Compliance-Prüfungen. Diese Bewegung spiegelt einen umfassenderen Wandel wider, bei dem sich Governance-Teams von „Gatekeepern“, die Projekte ausbremsen, zu „Enablern“ entwickeln, die Sicherheit von Anfang an in die Entwicklungsprozesse integrieren.

Ein gutes Beispiel sind agentenbasierte KI-Systeme, die grundlegend andere Ansätze für die Überwachung erfordern. Diese Systeme agieren autonom, anstatt lediglich auf Prompts zu reagieren. Echtzeitüberwachung wird unerlässlich, wenn KI-Agenten Transaktionen initiieren, Systeme modifizieren oder mit Kunden interagieren können, ohne dass menschliches Eingreifen erforderlich ist. Sobald KI in operativen Technologieumgebungen in den Bereichen Fertigung, Energie und Transport Einzug hält, werden Cyberrisiken und physische Risiken zunehmen. Wenn Modelle physische Systeme kontrollieren, können Governance-Fehler zu Sicherheitszwischenfällen führen, die über Datenschutzverletzungen oder Verstöße gegen Compliance-Vorschriften hinausgehen.

Die künstlichen Grenzen zwischen Cybersicherheit, Datenkontrolle und KI-Governance verschwimmen immer mehr. Zukunftsorientierte Unternehmen entwickeln einheitliche Frameworks, die diese Disziplinen als miteinander verbundene Komponenten eines einzigen Risikomanagementsystems betrachten. Diese Kombination ist sinnvoll, da die Sicherheit von KI vom Datenschutz abhängt und die Datenkontrolle KI-spezifische Kontrollen erfordert. Unterdessen kommen die globalen KI-Regulierungen in ihre Durchsetzungsphase, was reale Konsequenzen nach sich ziehen wird. Die EU-Verordnung über künstliche Intelligenz (EU AI Act) sieht erhebliche Geldstrafen bei Nichteinhaltung vor, und andere Rechtsordnungen ziehen mit branchenspezifischen Regelungen nach.

Die Nachfrage nach Fachkräften im Bereich KI-Sicherheit und Risikomanagement wird sprunghaft ansteigen, da Unternehmen Schwierigkeiten haben, kritische Lücken in ihren Governance-Programmen zu schließen. Laut einem Bericht zur KI-Governance aus dem Jahr 2025 von OneTrust erwarten 98 % der Unternehmen einen deutlichen Anstieg der Budgets, um eine schnellere und intelligentere Überwachung zu ermöglichen, wobei der durchschnittliche Budgetanstieg 24 % beträgt. Unternehmen, die diese Fähigkeiten frühzeitig aufbauen, werden sich einen Wettbewerbsvorteil gegenüber jenen verschaffen, die Governance immer noch vernachlässigen.