Unklare Sicherstellung von Model- und Datendokumentation in der Entwicklung generativer KI und LLM
Wesentliche Entscheidungen, Varianten, Trainingsdaten sowie Architekturänderungen bei der Entwicklung generativer Modelle (z.B. LLM) werden nur unvollständig oder in inkonsistenten Formaten dokumentiert. Dies erschwert spätere Validierung, Compliance-Prüfung und Fehlerursachenanalyse.
Kontext
- Branche
- Branchenübergreifend
- Prozess
- Entwicklung und Training
- Schutzgut
- Transparenz Nachvollziehbarkeit
Ursachen
- Fehlende Vorgaben für die Dokumentation
- heterogene Entwicklungsteams
- keine abgestimmten Standardformate für Model Cards und Datenherkunftsdokumente.
Auswirkungen
- Mangelnde Reproduzierbarkeit des Trainings
- erschwerte Fehlerbehebung
- regulatorische Risiken
- unklare Verantwortlichkeiten im Entwicklungsverlauf.
Praxisbeispiel
- Ein LLM wird auf unternehmenskritischen Daten trainiert
- aber die Modifikationen und benutzten Datenversionen werden nur in Einzeldateien abgelegt
- nicht versionsgesichert oder zentral dokumentiert. Bei Audits können Nachweise zu bestimmten Modellverhalten nicht erbracht werden.
Stakeholder
- KI-Entwicklung
- Qualitätsmanagement
- Compliance
- IT
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
- Verpflichtende Nutzung standardisierter Model Cards und Dokumentationsvorlagen für Trainingsdaten und Hyperparameter
- Automatisierte Nachverfolgung von Modellvarianten und Trainingsdokumentation
Detektive Maßnahmen
- Stichprobenprüfungen auf Vollständigkeit und Richtigkeit der Entwicklungs- und Trainingsdokumente
- Cross-Check der Produktspezifikationen mit Model- und Datendokumentation
Korrektive Maßnahmen
- Nachdokumentation fehlender Entwicklungen vor Übergabe an Produktivsetzung
- Nachschulung von Entwicklungsteams in Dokumentationsstandards
Pruefziele
- Überprüfbarkeit
- dass Entwicklungsentscheidungen und Datennutzung bei Generativer KI in konsistenter
- auditierbarer Form dokumentiert sind.
Auditfragen
- Sind Model Cards und Trainingsprotokolle für alle relevanten Entwicklungsstände vorhanden?
- Wird die Datenherkunft und -qualität nachvollziehbar dokumentiert?
Normbezüge
- ISO/IEC 42001 Kapitel 8.6 NIST AI RMF 1.0 GOVERN/MEASURE EU AI Act (Verordnung (EU) 2024/1689) Artikel 11
Normhinweise
- Gemäß ISO/IEC 42001 und NIST AI RMF sind laufende
- nachvollziehbare Entwicklungsschritte und Versionierungen zu dokumentieren. Der EU AI Act fordert die Nachvollziehbarkeit von Modellentwicklung und -freigabe.
Nachweise
- Vollständige Model Cards
- Trainingsprotokolle
- Datendokumentationsvorlagen
Nachweistypen
- Dokumentationsdateien
- Versionierungssystem
- Auditprotokolle
Kontrollen
- Nutzung und Review von Model Card-Vorlagen im Dev-Workflow
- Anbindung der Dokumentation an Versionierungssysteme
Verwandte Risiken
Noch keine Beziehungen hinterlegt.