Kontext

Branche

branchenuebergreifend

Prozess

Bewertungs- und Entscheidungsprozesse

Schutzgut

Fairness und Intervenierbarkeit

Ursachen

• unklare Bewertungslogik
• fehlende menschliche Pruefung
• keine Schwellenwerte fuer kritische Entscheidungen

Auswirkungen

• Diskriminierung
• wirtschaftliche oder soziale Nachteile fuer Betroffene
• erschwerte Wahrnehmung von Rechten

Praxisbeispiel

• Ein KI-Modell priorisiert Bewerbungen oder Kundenanfragen anhand historischer Muster
• ohne Fairnesspruefung und ohne nachvollziehbare Eingriffsmoeglichkeit.

Stakeholder

• Betroffene Personen
• Fachbereich
• Datenschutz
• Compliance
• Management

Massnahmen

• Profiling-Risiken bewerten
• menschliche Pruefung fuer kritische Bewertungen definieren
• Fairness- und Plausibilitaetstests etablieren

Praeventive Massnahmen

• kritische Bewertungszwecke vorab genehmigen
• Schwellenwerte fuer manuelle Kontrolle festlegen
• ungeeignete Merkmale ausschliessen

Detektive Massnahmen

• Ergebnisverteilungen nach Gruppen analysieren
• Beschwerden und Overrides auswerten
• Modellleistung regelmaessig pruefen

Korrektive Massnahmen

• Bewertungsmodell anpassen
• betroffene Entscheidungen nachpruefen
• Merkmale entfernen oder Gewichtung korrigieren

Pruefziele

• Nachweisen
• dass profilbildende oder bewertende KI-Prozesse kontrolliert
• fair und intervenierbar sind.

Auditfragen

• Welche Personenbewertungen werden durch KI erzeugt?
• Welche menschlichen Pruefschritte gibt es bei kritischen Ergebnissen?
• Wie werden Diskriminierungs- und Fairnessrisiken getestet?

Normbezuege

• DSGVO Erwaegungsgrund 75
• SDM
• ISO/IEC 27701
• ISO/IEC 42001

Normhinweise

• Beruecksichtigt insbesondere Risiken aus Profilbildung
• Bewertung
• Diskriminierung
• Kontrollverlust und Eingriffen in Rechte.

Nachweise

• Profiling-Bewertung
• Fairness-Testbericht
• Kontrollkonzept
• Override-Protokolle

Nachweistypen

• Bewertung
• Testbericht
• Kontrollnachweis
• Protokoll

Kontrollen

• kritische Bewertungen nur mit dokumentierter menschlicher Pruefung verwenden
• Fairness-Review vor Modellfreigabe erzwingen

Verwandte Risiken

Noch keine Beziehungen hinterlegt.