DAX-GVP-101 Governance Planungsrisiko Computer Vision und Biometrie Kritisch medium

Fehlende Definition von Anwendungskontexten und Zulässigkeitskriterien bei Computer Vision und Biometrie in der Planung

In der Planungs- und Klassifizierungsphase für Computer Vision und biometrische Systeme werden die geplanten Anwendungskontexte und deren regulatorische oder ethische Zulässigkeit oftmals nicht explizit definiert oder dokumentiert, was später schwerwiegende Compliance-Risiken und Reputationsschäden verursachen kann.

Kontext

Branche: Branchenübergreifend
Prozess: Planung und Klassifizierung
Schutzgut: Grundrechte Verlässlichkeit Nachvollziehbarkeit

Ursachen

Unzureichende Kenntnis oder Berücksichtigung spezifischer Rechtsgrundlagen für biometrische Anwendungen; Fokussierung auf technische Machbarkeit statt auf ethische und regulatorische Anforderungen.

Auswirkungen

Einsatz in nicht zulässigen Anwendungsfeldern (z. B. Massenüberwachung
emotionale Analyse ohne Einwilligung) kann zu Untersagung der Lösung
hohem Reputationsschaden oder Bußgeldern führen.

Praxisbeispiel

Ein Unternehmen plant Gesichtsidentifikation für den automatisierten Zugang zu Firmengebäuden
ohne die Zulässigkeit nach EU AI Act oder Datenschutzvorgaben zu prüfen; später wird das System aufgrund rechtlicher Verstöße abgeschaltet.

Stakeholder

Projektleitung
Ethikkommission
Rechtsabteilung
KI-Produktmanager

Maßnahmen

Noch nicht hinterlegt.

Präventive Maßnahmen

Verpflichtende Kontext- und Zulässigkeitsprüfung zu Projektbeginn
Einrichtung eines Freigabeprozesses mit Rechts- und Ethikbeteiligung
Schriftliche Dokumentation zulässiger Anwendungskontexte

Detektive Maßnahmen

Regelmäßige Audits der Kontextdefinitionen
Überprüfung zulässiger Anwendungszwecke im Projektverlauf

Korrektive Maßnahmen

Nachträgliche Kontextanpassung bzw. -beschränkung
Abbruch oder Neuausrichtung unzulässiger Projektteile
Kommunikation mit Aufsichtsbehörden

Pruefziele

Der Anwendungsbereich und die Zulässigkeit von Computer Vision-/Biometrie-Anwendungen sind vor Entwicklungsstart nachvollziehbar dokumentiert und freigegeben.

Auditfragen

Ist die Anwendungskontext-Prüfung Teil der Initialplanung?
Existieren dokumentierte Zulässigkeitskriterien (rechtlich, ethisch, technisch)?
Wurden rechtliche und ethische Prüfungen dokumentiert durchgeführt?

Normbezüge

EU AI Act (Verordnung (EU) 2024/1689) Artikel 56910 ISO/IEC 42001 Kapitel 5-6

Normhinweise

EU AI Act schreibt explizite Prüfung und Dokumentation unzulässiger KI-Anwendungen sowie Risikomanagement bereits bei der Planung vor.
ISO/IEC 42001 fordert die Definition erlaubter und verbotener KI-Nutzung im Governance-Prozess.

Nachweise

Projektdefinition mit definierter KI-Reichweite
Checklisten zu Anwendungszulässigkeit inkl. Unterschriften der verantwortlichen Rollen
Rechtsgutachten oder Ethik-Review

Nachweistypen

Dokumentation
Checklisten
Gutachten

Kontrollen

Freigabeprozess mit Ethik- und Rechtsprüfung
Verpflechtungsarme Dokumentation kontextueller Eckdaten
Review von Anwendungskontexten vor Kick-off