Unkontrollierte Änderungen an KI-Artefakten und RAG-Wissensquellen
Modelle, Prompts, Systemanweisungen, Vektorindizes oder Wissensquellen können unbemerkt manipuliert werden und dadurch falsche oder schädliche Ergebnisse erzeugen.
Kontext
- Branche
- branchenübergreifend
- Prozess
- Integrität und Change Management
- Schutzgut
- Integrität
Ursachen
- fehlendes Change Management für KI-Artefakte
- unzureichende Integritätsprüfung
- zu breite Schreibrechte auf Wissensquellen
Auswirkungen
- falsche Entscheidungen
- Desinformation
- Sicherheits- und Compliance-Verstöße
Praxisbeispiel
- Eine unautorisierte Änderung in einer Wissensdatenbank führt dazu
- dass ein KI-Assistent falsche regulatorische Auskünfte gibt.
Stakeholder
- IT-Betrieb
- Informationssicherheit
- Fachbereich
- Compliance
- Nutzer
Maßnahmen
- KI-Artefakte in Change Management aufnehmen
- Integritätsprüfungen für Wissensquellen etablieren
- Schreibrechte restriktiv vergeben
Präventive Maßnahmen
- Vier-Augen-Prinzip für kritische Prompt- und Wissensänderungen
- Versionierung für Modelle, Prompts und Indizes
- Zugriffe nach Need-to-know begrenzen
Detektive Maßnahmen
- Hash- oder Versionsabweichungen überwachen
- Änderungsprotokolle auswerten
- Antwortqualität gegen Referenzfälle testen
Korrektive Maßnahmen
- auf letzte freigegebene Version zurückrollen
- manipulierte Quellen sperren
- Root-Cause-Analyse und Rechtebereinigung durchführen
Pruefziele
- Nachweisen
- dass KI-Artefakte und Wissensquellen kontrolliert geändert und gegen Manipulation geschützt werden.
Auditfragen
- Welche KI-Artefakte unterliegen dem Change Management?
- Wie werden Änderungen an Wissensquellen freigegeben?
- Welche Integritätskontrollen erkennen unautorisierte Änderungen?
Normbezüge
- ISO/IEC 27001 ISO/IEC 42001
Normhinweise
- Abgeleitet aus Change Management
- Integritätsschutz
- Zugriffskontrolle und kontrolliertem KI-Betrieb.
Nachweise
- Change-Protokolle
- Versionshistorie
- Berechtigungsnachweise
- Integritätsberichte
Nachweistypen
- Protokoll
- Konfiguration
- Kontrollnachweis
- Freigabe
Kontrollen
- kritische KI-Artefakte versionieren
- Schreibrechte für Wissensquellen monatlich prüfen
Verwandte Risiken
Noch keine Beziehungen hinterlegt.