Manipulation produktiver KI-Modelle oder Wissensquellen
Modelle, Prompts, Konfigurationen oder Wissensquellen können manipuliert werden und erzeugen dadurch falsche, schädliche oder nicht nachvollziehbare Ergebnisse.
Kontext
- Branche
- Alle Branchen
- Prozess
- Modell- und Wissensquellenmanagement
- Schutzgut
- Integrität Verfügbarkeit Nachvollziehbarkeit
Ursachen
- Keine Versionierung
- Unzureichende Freigabeprozesse
- Schwache Zugriffskontrollen
- Fehlende Integritätsprüfungen
Auswirkungen
- Falsche Entscheidungen
- Fehlerhafte Beratung
- Betriebsstörungen
- Vertrauensverlust
Praxisbeispiel
- Eine Wissensdatenbank für ein RAG-System wird ohne Review geändert und liefert danach falsche Compliance-Empfehlungen.
Stakeholder
- IT-Sicherheit
- AI Governance Manager
- Fachverantwortliche
- Modellverantwortliche
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
- Versionierung für Modelle und Wissensquellen einrichten
- Änderungen freigeben lassen
- Rollenbasierte Administration nutzen
Detektive Maßnahmen
- Integritätsprüfungen
- Änderungsprotokolle auswerten
- Qualitätstests nach Updates
Korrektive Maßnahmen
- Rollback auf freigegebene Version
- Korrektur der Wissensquelle
- Nachtest und Freigabe dokumentieren
Pruefziele
- Nachweisen
- dass Änderungen an KI-Modellen und Wissensquellen kontrolliert
- versioniert und getestet werden.
Auditfragen
- Wer darf Wissensquellen oder Modellkonfigurationen ändern?
- Gibt es Versionierung und Freigabe?
- Welche Tests erfolgen nach Änderungen?
Normbezüge
- ISO/IEC 27001 ISO/IEC 42001
Normhinweise
- Quellenbezug: Änderungsmanagement
- Zugriffsschutz und KI-Systemsteuerung aus Informationssicherheits- und KI-Managementsystemen.
Nachweise
- Change-Protokoll
- Versionshistorie
- Testnachweise
- Freigabedokumentation
Nachweistypen
- Systemexport
- Protokoll
- Testbericht
Kontrollen
- Vier-Augen-Prinzip für produktive KI-Änderungen
- Regelmäßiger Integritätscheck
Verwandte Risiken
Noch keine Beziehungen hinterlegt.