Fehlende Überwachung der KI-Leistung und Wirksamkeit von Maßnahmen
Nach der Einführung wird nicht regelmäßig geprüft, ob KI-Systeme weiterhin korrekt, sicher, fair und im vorgesehenen Zweck funktionieren.
Kontext
- Branche
- Alle Branchen
- Prozess
- Betrieb und Monitoring
- Schutzgut
- Wirksamkeit Nachvollziehbarkeit Kontrolle
Ursachen
- Keine Betriebsmetriken
- Kein Modellmonitoring
- Fehlender Review-Zyklus
- Maßnahmen werden nicht nachverfolgt
Auswirkungen
- Schleichende Qualitätsverluste
- Unbemerkte Verzerrungen
- Nicht wirksame Kontrollen
- Fehlerhafte Entscheidungen
Praxisbeispiel
- Ein Klassifikationsmodell verändert seine Trefferqualität durch geänderte Eingangsdaten
- ohne dass Verantwortliche es bemerken.
Stakeholder
- Systemverantwortliche
- AI Governance
- Qualitätsmanagement
- Informationssicherheit
- Fachbereich
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
- Monitoring-Kriterien je KI-System definieren
- Review-Zyklus festlegen
- Maßnahmenverfolgung im KI-Register verankern
Detektive Maßnahmen
- Regelmäßige Performance- und Drift-Prüfung
- Kontrolltests
- Auswertung von Nutzerfeedback und Vorfällen
Korrektive Maßnahmen
- Modell nachtrainieren oder konfigurieren
- Maßnahmen nachschärfen
- Nutzung einschränken oder System stilllegen
Pruefziele
- Nachweisen
- dass produktive KI-Systeme regelmäßig überwacht und Maßnahmen auf Wirksamkeit geprüft werden.
Auditfragen
- Welche Kennzahlen werden überwacht?
- Wie oft erfolgt der Review?
- Wer entscheidet über Anpassung oder Stilllegung?
Normbezüge
- ISO/IEC 42001 ISO/IEC 23894 ISO/IEC 27001
Normhinweise
- Quellenbezug: Kontinuierliche Überwachung
- Wirksamkeitsprüfung und Verbesserung von Managementsystemen und KI-Risikomaßnahmen.
Nachweise
- Monitoring-Bericht
- Review-Protokoll
- Maßnahmenstatus
- Incident-Auswertung
Nachweistypen
- Bericht
- Dashboard
- Protokoll
Kontrollen
- Quartalsweiser KI-Betriebsreview
- Wirksamkeitsprüfung offener Maßnahmen
Verwandte Risiken
Noch keine Beziehungen hinterlegt.