Fehlende Nachvollziehbarkeit von Modellentscheidungen bei Training Computer Vision Systeme

Kontext

Branche

Branchenübergreifend

Prozess

Entwicklung und Training

Schutzgut

Transparenz Nachvollziehbarkeit

Ursachen

• Entwicklungsteams fokussieren auf Performance, nicht auf Nachvollziehbarkeit
• Mangel an Vorgaben für Dokumentation und Prüfpfade

Auswirkungen

• Unfähigkeit, die Entscheidungen des KI-Modells im Nachhinein im Detail zu analysieren
• Verstoß gegen Dokumentationsanforderungen des EU AI Act und ISO/IEC 42001

Praxisbeispiel

• Bei der Prüfung eines Gesichtserkennungssystems ist nicht nachvollziehbar
• welche Trainingsdaten und Parameter im Entwicklungsprozess eingesetzt wurden.

Stakeholder

• Entwicklung
• Compliance
• Prüfung
• IT Governance

Maßnahmen

Noch nicht hinterlegt.

Präventive Maßnahmen

• Verpflichtende Dokumentation des Trainingsprozesses und der verwendeten Datenquellen in jedem Entwicklungsprojekt

Detektive Maßnahmen

• Stichprobenprüfung der Entwicklungsdokumentation und der gespeicherten Modellentscheidungen

Korrektive Maßnahmen

• Nachträgliche Modellanalyse und Speicherung fehlender Entwicklungsdaten und -schritte

Pruefziele

• Jede Entwicklungsentscheidung und verwendete Datenquelle ist nachvollziehbar dokumentiert.

Auditfragen

• Wie werden Modellentscheidungen
• Hyperparameter und Quellen im Entwicklungsprozess dokumentiert und versioniert?

Normbezüge

• EU AI Act Kapitel 9 ISO/IEC 42001 Kapitel 8.2

Normhinweise

• EU AI Act fordert lückenlose Validierungs- und Dokumentationspflicht insbesondere für Hochrisiko-KI im Bereich Computer Vision.

Nachweise

• Entwicklungsdokumentation
• Trainings-Protokolle
• Modellkarten

Nachweistypen

• Dokumentation
• Technische Nachweise

Kontrollen

• Dokumentationsrichtlinie Entwicklung
• Review der Entwicklungsdokumentation

Verwandte Risiken

Noch keine Beziehungen hinterlegt.