Skip to content
Zurueck zur Bibliothek
DAX-GOV-42001-003 Governance Betriebsrisiko Produktive KI-Systeme Automatisierte Entscheidung RAG-System Mittel high

Fehlende Ueberwachung der KI-Leistung und Wirksamkeit von Massnahmen

Nach der Einfuehrung wird nicht regelmaessig geprueft, ob KI-Systeme weiterhin korrekt, sicher, fair und im vorgesehenen Zweck funktionieren.

Kontext

Branche
Alle Branchen
Prozess
Betrieb und Monitoring
Schutzgut
Wirksamkeit Nachvollziehbarkeit Kontrolle

Ursachen

  • Keine Betriebsmetriken
  • Kein Modellmonitoring
  • Fehlender Review-Zyklus
  • Massnahmen werden nicht nachverfolgt

Auswirkungen

  • Schleichende Qualitaetsverluste
  • Unbemerkte Verzerrungen
  • Nicht wirksame Kontrollen
  • Fehlerhafte Entscheidungen

Praxisbeispiel

  • Ein Klassifikationsmodell veraendert seine Trefferqualitaet durch geaenderte Eingangsdaten
  • ohne dass Verantwortliche es bemerken.

Stakeholder

  • Systemverantwortliche
  • AI Governance
  • Qualitaetsmanagement
  • Informationssicherheit
  • Fachbereich

Massnahmen

Noch nicht hinterlegt.

Praeventive Massnahmen

  • Monitoring-Kriterien je KI-System definieren
  • Review-Zyklus festlegen
  • Massnahmenverfolgung im KI-Register verankern

Detektive Massnahmen

  • Regelmaessige Performance- und Drift-Pruefung
  • Kontrolltests
  • Auswertung von Nutzerfeedback und Vorfaellen

Korrektive Massnahmen

  • Modell nachtrainieren oder konfigurieren
  • Massnahmen nachschaerfen
  • Nutzung einschraenken oder System stilllegen

Pruefziele

  • Nachweisen
  • dass produktive KI-Systeme regelmaessig ueberwacht und Massnahmen auf Wirksamkeit geprueft werden.

Auditfragen

  • Welche Kennzahlen werden ueberwacht?
  • Wie oft erfolgt der Review?
  • Wer entscheidet ueber Anpassung oder Stilllegung?

Normbezuege

  • ISO/IEC 42001 ISO/IEC 23894 ISO/IEC 27001

Normhinweise

  • Quellenbezug: Kontinuierliche Ueberwachung
  • Wirksamkeitspruefung und Verbesserung von Managementsystemen und KI-Risikomassnahmen.

Nachweise

  • Monitoring-Bericht
  • Review-Protokoll
  • Massnahmenstatus
  • Incident-Auswertung

Nachweistypen

  • Bericht
  • Dashboard
  • Protokoll

Kontrollen

  • Quartalsweiser KI-Betriebsreview
  • Wirksamkeitspruefung offener Massnahmen

Verwandte Risiken

Noch keine Beziehungen hinterlegt.