Unzureichende Dokumentation der Trainingsdaten- und Modellentscheidungen für Scoring- und Klassifikationssysteme
Eine lückenhafte, unstrukturierte oder fehlende Dokumentation zu Herkunft, Merkmalen und Auswahl der Trainingsdaten sowie zu den getroffenen Modellierungsentscheidungen erschwert die Bewertung der Zuverlässigkeit und Fairness von Scoring- sowie Klassifikationssystemen.
Kontext
- Branche
- Branchenübergreifend
- Prozess
- Entwicklung und Training
- Schutzgut
- Transparenz Nachvollziehbarkeit
Ursachen
- Fehlende Methoden
- Zeitdruck oder unzureichendes Bewusstsein für regulatorische Anforderungen; fehlende Dokumentationspflichten im Entwicklungsprozess.
Auswirkungen
- Unmöglichkeit
- im Fehler- oder Beschwerdefall reproduzierbare Nachweise für Entscheidungsketten und Datenherkunft zu liefern; erschwerte Auditierbarkeit und Nachweisführung hinsichtlich Regulatorik und Diskriminierungsfreiheit.
Praxisbeispiel
- Im Nachhinein kann nicht mehr geprüft werden
- mit welchen Kriterien ein Bonitäts-Scoring-Modell entwickelt und trainiert wurde.
Stakeholder
- KI-Entwicklung
- Modellverantwortliche
- Audit
- Compliance
- Datenschutz
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
- Standardisierte Dokumentationsvorlagen für Trainingsdaten, Features und Modellentscheidungen
- Verpflichtende Einträge in die KI-Dokumentation entlang ISO/IEC 42001 Kapitel 8.2-8.7
Detektive Maßnahmen
- Regelmäßige Review-Meetings zur Dokumentationslage
- Auditprotokolle zu Modellhistorie
Korrektive Maßnahmen
- Nachdokumentation bislang fehlender Modelldetails
- Einführung verbindlicher Dokumentationsrichtlinien
Pruefziele
- Es existiert eine vollständige und nachvollziehbare Dokumentation zu sämtlichen Trainingsdaten und wesentlichen Modellentscheidungen.
Auditfragen
- Ist für jede Scoring-Variante nachvollziehbar dokumentiert, welche Daten und Auswahlverfahren genutzt wurden?
- Liegen Audit-Trails oder Änderungen am Modell vor?
Normbezüge
- ISO/IEC 42001 Kapitel 8.2-8.7 EU AI Act (Verordnung (EU) 2024/1689) Artikel 10
Normhinweise
- Regelungen zur Nachvollziehbarkeit und Dokumentationspflicht in Entwicklungsphasen
Nachweise
- Entwicklungsdokumentation
- Modellprotokolle
- Versionierungssystem
Nachweistypen
- Dokumentation
- Systemprotokoll
Kontrollen
- Pflicht zur prozessparallelen Dokumentation
- KI-Modellhistorie im Versionsmanagement
Verwandte Risiken
Noch keine Beziehungen hinterlegt.