Manipulation produktiver KI-Modelle oder Wissensquellen
Modelle, Prompts, Konfigurationen oder Wissensquellen können manipuliert werden und erzeugen dadurch falsche, schädliche oder nicht nachvollziehbare Ergebnisse.
Kontext
Branche
Alle Branchen
Prozess
Modell- und Wissensquellenmanagement
Schutzgut
Integrität Verfügbarkeit Nachvollziehbarkeit
Ursachen
Keine Versionierung
Unzureichende Freigabeprozesse
Schwache Zugriffskontrollen
Fehlende Integritätsprüfungen
Auswirkungen
Falsche Entscheidungen
Fehlerhafte Beratung
Betriebsstörungen
Vertrauensverlust
Praxisbeispiel
Eine Wissensdatenbank für ein RAG-System wird ohne Review geändert und liefert danach falsche Compliance-Empfehlungen.
Stakeholder
IT-Sicherheit
AI Governance Manager
Fachverantwortliche
Modellverantwortliche
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
Versionierung für Modelle und Wissensquellen einrichten
Änderungen freigeben lassen
Rollenbasierte Administration nutzen
Detektive Maßnahmen
Integritätsprüfungen
Änderungsprotokolle auswerten
Qualitätstests nach Updates
Korrektive Maßnahmen
Rollback auf freigegebene Version
Korrektur der Wissensquelle
Nachtest und Freigabe dokumentieren
Pruefziele
Nachweisen
dass Änderungen an KI-Modellen und Wissensquellen kontrolliert
versioniert und getestet werden.
Auditfragen
Wer darf Wissensquellen oder Modellkonfigurationen ändern?
Gibt es Versionierung und Freigabe?
Welche Tests erfolgen nach Änderungen?
Normbezüge
ISO/IEC 27001 ISO/IEC 42001
Normhinweise
Quellenbezug: Änderungsmanagement
Zugriffsschutz und KI-Systemsteuerung aus Informationssicherheits- und KI-Managementsystemen.