Kontext

Branche

branchenübergreifend

Prozess

Bewertungs- und Entscheidungsprozesse

Schutzgut

Fairness und Intervenierbarkeit

Ursachen

• unklare Bewertungslogik
• fehlende menschliche Prüfung
• keine Schwellenwerte für kritische Entscheidungen

Auswirkungen

• Diskriminierung
• wirtschaftliche oder soziale Nachteile für Betroffene
• erschwerte Wahrnehmung von Rechten

Praxisbeispiel

• Ein KI-Modell priorisiert Bewerbungen oder Kundenanfragen anhand historischer Muster
• ohne Fairnessprüfung und ohne nachvollziehbare Eingriffsmöglichkeit.

Stakeholder

• Betroffene Personen
• Fachbereich
• Datenschutz
• Compliance
• Management

Maßnahmen

• Profiling-Risiken bewerten
• menschliche Prüfung für kritische Bewertungen definieren
• Fairness- und Plausibilitätstests etablieren

Präventive Maßnahmen

• kritische Bewertungszwecke vorab genehmigen
• Schwellenwerte für manuelle Kontrolle festlegen
• ungeeignete Merkmale ausschliessen

Detektive Maßnahmen

• Ergebnisverteilungen nach Gruppen analysieren
• Beschwerden und Overrides auswerten
• Modellleistung regelmäßig prüfen

Korrektive Maßnahmen

• Bewertungsmodell anpassen
• betroffene Entscheidungen nachprüfen
• Merkmale entfernen oder Gewichtung korrigieren

Pruefziele

• Nachweisen
• dass profilbildende oder bewertende KI-Prozesse kontrolliert
• fair und intervenierbar sind.

Auditfragen

• Welche Personenbewertungen werden durch KI erzeugt?
• Welche menschlichen Prüfschritte gibt es bei kritischen Ergebnissen?
• Wie werden Diskriminierungs- und Fairnessrisiken getestet?

Normbezüge

• DSGVO Erwägungsgrund 75 SDM ISO/IEC 27701 ISO/IEC 42001

Normhinweise

• Berücksichtigt insbesondere Risiken aus Profilbildung
• Bewertung
• Diskriminierung
• Kontrollverlust und Eingriffen in Rechte.

Nachweise

• Profiling-Bewertung
• Fairness-Testbericht
• Kontrollkonzept
• Override-Protokolle

Nachweistypen

• Bewertung
• Testbericht
• Kontrollnachweis
• Protokoll

Kontrollen

• kritische Bewertungen nur mit dokumentierter menschlicher Prüfung verwenden
• Fairness-Review vor Modellfreigabe erzwingen

Verwandte Risiken

Noch keine Beziehungen hinterlegt.