KI-Überwachung: Bedeutung, Beispiele & Kontrolle

Was bedeutet KI-Überwachung?

KI-Überwachung kann zwei unterschiedliche Aufgaben bezeichnen: Eine KI analysiert Daten, um Auffälligkeiten in Prozessen zu erkennen. Oder ein Unternehmen überwacht das KI-System selbst, damit Fehler, Qualitätsverluste und unerwünschte Ergebnisse auffallen. Für eine verständliche Planung sollte immer deutlich sein, welche dieser Aufgaben gemeint ist.

Überwachung durch KI und Kontrolle von KI-Systemen

Überwachung durch KI: Ein System erkennt beispielsweise ungewöhnliche Messwerte an einer Maschine oder Auffälligkeiten in technischen Protokollen. Die Auswertung liefert Hinweise, die fachlich eingeordnet werden müssen.
Überwachung der KI: Verantwortliche prüfen die Ergebnisse eines Modells, dokumentieren Fehler und beobachten, ob sich die Qualität nach Änderungen an Daten, Modell oder Anwendung verschlechtert.

Praxisbeispiel: Ein KI-Assistent beantwortet Kundenfragen

Ein Unternehmen nutzt einen KI-Assistenten für Antwortentwürfe. Das Team prüft regelmäßig eine Stichprobe auf sachliche Richtigkeit und vollständige Quellen. Fehler werden dokumentiert, wiederkehrende Ursachen untersucht und Änderungen anschließend erneut getestet. Für unklare oder folgenreiche Fälle ist festgelegt, wer die Antwort vor der Verwendung prüft.

Welche Fragen sollten Unternehmen klären?

Welchem Zweck dient die Auswertung, und welche Daten werden dafür benötigt?
Wer beurteilt auffällige Ergebnisse und darf bei Fehlern eingreifen?
Wie werden Qualität, Fehlalarme und Änderungen dokumentiert?
Welche Informationen dürfen in Protokollen gespeichert werden, und wer erhält Zugriff?

Typische Risiken und Fehler

Ein auffälliger Messwert ist noch kein Beweis für ein Problem. Ungeeignete Daten, unklare Prüfkriterien und zu großes Vertrauen in automatisierte Ergebnisse können Fehlentscheidungen begünstigen. Die Kontrolle eines KI-Systems sollte deshalb technische Prüfungen mit klarer fachlicher Verantwortung verbinden.

Die Überwachung von Menschen ist von der technischen Qualitätskontrolle eines Modells zu unterscheiden. Ob ein konkreter Einsatz zulässig ist, muss gesondert geprüft werden; die genannten Beispiele sind keine pauschale Freigabe für Personenüberwachung.

Von der Kontrolle zur KI-Governance

Kontrollen werden wirksam, wenn sie zu festgelegten Zuständigkeiten und Abläufen gehören. Im Glossar zur KI-Governance finden Sie die organisatorische Einordnung. Der Live-Online-Kurs KI Governance Manager vertieft Rollen, Risikomanagement und die praktische Umsetzung im Unternehmen.

Zurück zum Glossar

Passende Gesetzesbezuege

DSGVO Art. 1 Gegenstand und Ziele Datenschutz-Grundverordnung Diese Verordnung enthält Vorschriften zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Verkehr solcher Daten. Diese Verordnung schützt die Grundrechte und Grundfreiheiten natürlicher Personen und insbesondere deren Re... DSGVO Art. 2 Sachlicher Anwendungsbereich Datenschutz-Grundverordnung Diese Verordnung gilt für die ganz oder teilweise automatisierte Verarbeitung personenbezogener Daten sowie für die nichtautomatisierte Verarbeitung personenbezogener Daten, die in einem Dateisystem gespeichert sind oder gespeichert werden sollen. Diese Verord... DSGVO Art. 3 Räumlicher Anwendungsbereich Datenschutz-Grundverordnung Diese Verordnung findet Anwendung auf die Verarbeitung personenbezogener Daten, soweit diese im Rahmen der Tätigkeiten einer Niederlassung eines Verantwortlichen oder eines Auftragsverarbeiters in der Union erfolgt, unabhängig davon, ob die Verarbeitung in der... DSGVO Art. 4 Begriffsbestimmungen Datenschutz-Grundverordnung ...dieser Daten durch die genannten Behörden erfolgt im Einklang mit den geltenden Datenschutzvorschriften gemäß den Zwecken der Verarbeitung; „Dritter“ eine natürliche oder juristische Person, Behörde, Einrichtung oder andere Stelle, außer der betroffenen Person... KI-VO Art. 1 Gegenstand Verordnung über künstliche Intelligenz (1) Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen künstlichen Intelligenz (KI) zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf Ge... KI-VO Art. 2 Anwendungsbereich Verordnung über künstliche Intelligenz (1) Diese Verordnung gilt für a)Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland nieder...