DAX-AED-002 Governance Entwicklungsrisiko KI-Agenten und Automatisierung Hoch medium

Fehlende Validierung ethischer Prinzipien bei der KI-Agentenentwicklung

Im Zuge der Entwicklung und dem Training von KI-Agenten werden ethische Prinzipien wie Fairness, Transparenz oder Verantwortung nicht systematisch geprüft oder nachgewiesen, was Compliance-Verstöße und Reputationsschäden begünstigt.

Kontext

Branche: Branchenübergreifend
Prozess: Entwicklung und Training
Schutzgut: Integrität Nachvollziehbarkeit

Ursachen

Fehlende Einbeziehung von Richtlinien zur Berücksichtigung ethischer Prinzipien in Entwicklungsprozessen
Mangelnde dokumentierte Entscheidungsvorlagen bei Modell- und Agentenauswahl

Auswirkungen

Risiko für KI-Entscheidungsprozesse, die gegen unternehmensinterne oder gesetzliche Vorgaben verstoßen
Imageverlust aufgrund intransparenter Automatisierungsentscheidungen

Praxisbeispiel

Ein KI-Agent trifft autonome Entscheidungen über Ressourcenzuweisungen
ohne ethische Bewertung oder Dokumentation der zugrunde liegenden Kriterien.

Stakeholder

KI-Entwicklung
Compliance
Ethik-Gremium

Maßnahmen

Noch nicht hinterlegt.

Präventive Maßnahmen

Verankerung von Ethischkeits- und Fairnessprüfung in Entwicklungprozessen
Verpflichtende Dokumentation angewandter Entscheidungslogiken

Detektive Maßnahmen

Audit von Projekt- und Modellentwicklungsdokumentationen auf definierte Mindestanforderungen in Sachen Ethik und Governance

Korrektive Maßnahmen

Nachträgliche ethische Bewertung und gegebenenfalls Rückbau betroffener Modelle

Pruefziele

Nachweis eines systematischen und dokumentierten Einbezugs ethischer Prinzipien in der Entwicklung von KI-Agenten.

Auditfragen

Werden Anforderungen an Transparenz
Fairness und Verantwortung auf Entwicklungs- und Trainingsebene geprüft und dokumentiert?

Normbezüge

EU AI Act Kapitel 9ISO/IEC 42001 Kapitel 6.2

Normhinweise

EU AI Act fordert organisatorische Maßnahmen zu Ethik in Entwicklungs- und Trainingsprozessen

Nachweise

Entwicklungsrichtlinien
Projektdokumentation zu Entscheidungswegen

Nachweistypen

Handbuch
Auditprotokoll

Kontrollen

Template für Ethikprüfung im Entwicklungsprozess
Pflicht zu Review und Dokumentation