Bias-Verstärkung durch fehlerhafte Klassifizierungskriterien bei generativen KI-Modellen
Unzureichende Definition, Validierung und Überprüfung der Klassifizierungskriterien in der Planungsphase generativer KI führt zu systematischen Vorurteilen (Bias), Benachteiligungen oder Grundrechtsverletzungen betroffener Personengruppen.
Kontext
- Branche
- Branchenübergreifend
- Prozess
- Planung und Klassifizierung
- Schutzgut
- Nichtdiskriminierung Fairness Rechtssicherheit
Ursachen
- Mangelfhafte Diversitätskontrolle bei Trainingsdaten
- fehlende Stakeholder-Beteiligung sowie Nichtbeachtung diskriminierungsrelevanter Kategorien.
Auswirkungen
- Diskriminierung im Output
- rechtliche Haftung
- Imageschäden und regulatorische Intervention.
Praxisbeispiel
- Ein LLM-generiertes Gutachten schlägt für Menschen mit bestimmten Namen andere Kreditkonditionen vor als für andere Gruppen.
Stakeholder
- KI-Produktmanagement
- Ethikbeauftragter
- Betroffene Nutzergruppen
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
- Frühzeitige Fairness- und Nichtdiskriminierungsanalysen
- Etablierung fester Kriterien für Trainings- und Klassifikationsprozesse
- Einbindung vielfältiger Stakeholder bei der Definition der Systemziele
Detektive Maßnahmen
- Regelmäßige Bias-Tests und Audits des Outputs
- Monitoring auf Diskriminierungsmuster während Test- und Nutzungsphase
Korrektive Maßnahmen
- Überarbeitung der Systemkriterien und Daten
- Korrigierende Releases und Trainingsanpassungen
Pruefziele
- Nachweis der aktiven Bias-Kontrolle und der Einbindung von Fairnesskriterien schon in der Planungs- und Klassifizierungsphase.
Auditfragen
- Gibt es dokumentierte Fairnessroutinen und wird auf Diskriminierung getestet?
- Sind Trainingsdaten-Kriterien nachvollziehbar und auf Gruppenbezogenheit geprüft?
Normbezüge
- EU AI Act (Verordnung (EU) 2024/1689) Artikel 10
- Artikel 15 ISO/IEC 42001 Kapitel 5
- 8.2 NIST AI RMF 1.0 Funktion MAP
- MEASURE
Normhinweise
- EU AI Act Art. 10 und 15 fordern Daten- und Modellgovernance zur Fairness-Wahrung
- ISO/IEC 42001 und NIST AI RMF spezifizieren Regularien zu Auswahl und Validierung.
Nachweise
- Bias-Testberichte
- Planungsdokumentation mit Fairnesskonzept
- Protokolle Stakeholdereinbindung
Nachweistypen
- Auditberichte
- Prozessdokumentation
Kontrollen
- Bias-Testpflicht
- Fairness-Screenings
- Pflicht zur Stakeholder-Validierung
Verwandte Risiken
Noch keine Beziehungen hinterlegt.