Unkontrollierte Herkunft von Trainings- und Referenzdaten für Scoring und Klassifikation
Es besteht die Gefahr, dass für Scoring- und Klassifikationssysteme Trainings- und Referenzdaten aus unsicheren, nicht ausreichend geprüften oder nicht dokumentierten Quellen bezogen werden.
Kontext
- Branche
- Branchenübergreifend
- Prozess
- Daten und Beschaffung
- Schutzgut
- Integrität Transparenz
Ursachen
- Mangelnde Vorgaben zur Herkunftsnachweisführung und -validierung bei Datenbeschaffung.
Auswirkungen
- Verletzung regulatorischer Vorgaben
- Risiko inkorrekter
- diskriminierender oder biased Ergebnisse.
Praxisbeispiel
- Scoring-Modell wird auf Basis frei verfügbarer
- aber unzureichend nachweisbarer Datensätze trainiert
- wodurch die Entscheidungsgrundlagen manipulierbar sind.
Stakeholder
- Datenmanagement
- Modellentwicklung
- Compliance
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
- Verpflichtende Dokumentation und Prüfung aller Datenquellen vor Modellentwicklung
Detektive Maßnahmen
- Auditierbare Herkunfts- und Validierungsprotokolle für alle verwendeten Daten
Korrektive Maßnahmen
- Ausschluss kritischer Datenquellen
- Re-Training mit zertifizierten Daten
Pruefziele
- Nachweis kontrollierter Beschaffung und Herkunft aller Trainingsdaten für Scoring/Klassifikation
Auditfragen
- Wird für jede Datenquelle ein Herkunfts- und Integritätsnachweis geführt?
- Gibt es nachvollziehbare Freigabeprozesse für die Datennutzung?
Normbezüge
- ISO/IEC 42001 Kapitel 8.5-8.7 EU AI Act (Verordnung (EU) 2024/1689) Artikel 10
Normhinweise
- Regelwerke verlangen Herkunftsnachweis und Validierung für alle KI-Trainingsdaten
- insbesondere für Scoring-KI.
Nachweise
- Datenquelleverzeichnisse
- Validierungsprotokolle
- Lieferantenaudits
Nachweistypen
- dokumentarisch
- systembasiert
Kontrollen
- Datenquelle-Checkliste
- Verpflichtende Lieferantendokumentation
Verwandte Risiken
Noch keine Beziehungen hinterlegt.