Unkontrollierte Profilbildung und automatisierte Bewertung
KI-Systeme erstellen Profile oder Bewertungen über Personen, ohne angemessene Grenzen, menschliche Prüfung oder Möglichkeiten zur Intervention.
Kontext
- Branche
- branchenübergreifend
- Prozess
- Bewertungs- und Entscheidungsprozesse
- Schutzgut
- Fairness und Intervenierbarkeit
Ursachen
- unklare Bewertungslogik
- fehlende menschliche Prüfung
- keine Schwellenwerte für kritische Entscheidungen
Auswirkungen
- Diskriminierung
- wirtschaftliche oder soziale Nachteile für Betroffene
- erschwerte Wahrnehmung von Rechten
Praxisbeispiel
- Ein KI-Modell priorisiert Bewerbungen oder Kundenanfragen anhand historischer Muster
- ohne Fairnessprüfung und ohne nachvollziehbare Eingriffsmöglichkeit.
Stakeholder
- Betroffene Personen
- Fachbereich
- Datenschutz
- Compliance
- Management
Maßnahmen
- Profiling-Risiken bewerten
- menschliche Prüfung für kritische Bewertungen definieren
- Fairness- und Plausibilitätstests etablieren
Präventive Maßnahmen
- kritische Bewertungszwecke vorab genehmigen
- Schwellenwerte für manuelle Kontrolle festlegen
- ungeeignete Merkmale ausschliessen
Detektive Maßnahmen
- Ergebnisverteilungen nach Gruppen analysieren
- Beschwerden und Overrides auswerten
- Modellleistung regelmäßig prüfen
Korrektive Maßnahmen
- Bewertungsmodell anpassen
- betroffene Entscheidungen nachprüfen
- Merkmale entfernen oder Gewichtung korrigieren
Pruefziele
- Nachweisen
- dass profilbildende oder bewertende KI-Prozesse kontrolliert
- fair und intervenierbar sind.
Auditfragen
- Welche Personenbewertungen werden durch KI erzeugt?
- Welche menschlichen Prüfschritte gibt es bei kritischen Ergebnissen?
- Wie werden Diskriminierungs- und Fairnessrisiken getestet?
Normbezüge
- DSGVO Erwägungsgrund 75 SDM ISO/IEC 27701 ISO/IEC 42001
Normhinweise
- Berücksichtigt insbesondere Risiken aus Profilbildung
- Bewertung
- Diskriminierung
- Kontrollverlust und Eingriffen in Rechte.
Nachweise
- Profiling-Bewertung
- Fairness-Testbericht
- Kontrollkonzept
- Override-Protokolle
Nachweistypen
- Bewertung
- Testbericht
- Kontrollnachweis
- Protokoll
Kontrollen
- kritische Bewertungen nur mit dokumentierter menschlicher Prüfung verwenden
- Fairness-Review vor Modellfreigabe erzwingen
Verwandte Risiken
Noch keine Beziehungen hinterlegt.