DAX-GOP-101 Governance Planungsrisiko Generative KI und LLM Hoch medium

Unvollständige Definition von Bewertungsmaßstäben und Systemgrenzen in der Planungsphase für Generative KI und LLM

In der Planungs- und Klassifizierungsphase generativer KI- und LLM-Projekte kann es an einer durchgängigen Definition von Systemgrenzen, Bewertungskriterien und Dokumentationsanforderungen mangeln, was die spätere Kontrolle, Risikobewertung und regulatorische Einordnung des Systems erschwert.

Kontext

Branche: Branchenübergreifend
Prozess: Planung und Klassifizierung
Schutzgut: Transparenz Nachvollziehbarkeit Integrität

Ursachen

Fehlender oder unzureichend dokumentierter Planungsprozess; mangelnde Einbindung aller relevanten Stakeholder; fehlende Standardisierungen für KI-spezifische Planungsanforderungen.

Auswirkungen

Erhöhte Fehleranfälligkeit im weiteren Lebenszyklus
erschwerte Auditierbarkeit
mögliche Verstöße gegen regulatorische Vorgaben und Missverständnisse im weiteren Entwicklungs- und Betriebsprozess.

Praxisbeispiel

Projektteams erstellen unvollständige Systembeschreibungen für einen generativen Textgenerator; Bewertungskriterien für potenzielle Output-Gefahren und -Missbrauch werden nicht einheitlich festgelegt.

Stakeholder

KI-Projektleitung
Modellentwicklung
Compliance
Risikomanagement

Maßnahmen

Noch nicht hinterlegt.

Präventive Maßnahmen

Etablieren verbindlicher Planungsrichtlinien für KI-Projekte
Verpflichtende Stakeholder-Workshops zur Systemdefinition
Standardisierung von Bewertungskriterien und Systemabgrenzung

Detektive Maßnahmen

Regelmäßige Planungsreviews durch KI-Governance-Gremien
Überprüfung der Systemdokumentation auf Vollständigkeit

Korrektive Maßnahmen

Nachbesserung der Systemdokumentation
Nachträglich durchgeführte Stakeholder-Befragungen
Überarbeitung von Bewertungsmaßstäben

Pruefziele

Es bestehen nachvollziehbare
dokumentierte und umfassende Bewertungsmaßstäbe sowie Systemgrenzen bereits beim Planungsstart generativer KI-/LLM-Projekte.

Auditfragen

Existieren Planungsrichtlinien, die für generative KI-Anwendungen verbindlich gelten?
Gibt es eine dokumentierte Systemgrenze inklusive aller geplanten Schnittstellen?
Sind Bewertungsmaßstäbe und Risiken frühzeitig identifiziert und dokumentiert?

Normbezüge

ISO/IEC 42001 Kapitel 5 NIST AI RMF 1.0 Funktion GOVERN EU AI Act (Verordnung (EU) 2024/1689) Artikel 911

Normhinweise

Kapitel 5 fordert systematische Planung und Definition von Zielen und Risiken für KI.
NIST GOVERN verlangt explizite Beschreibung von Kontext und Zielen.
EU AI Act Artikel 9 und 11 fordern Risikomanagement und technische Dokumentation bereits ab der Planung.

Nachweise

Projektplan oder Vorstudie mit Daten- und Systemgrenzen
Workshop-Protokolle mit Stakeholder-Beteiligung
Vollständige Risikomatrix für das geplante KI-System

Nachweistypen

Verfahrensbeschreibung
Dokumentation
Protokolle

Kontrollen

Planungschecklisten
Review-Gates
Governance-Freigabe zur Weiterentwicklung