Mangelhafte Nachvollziehbarkeit von Anpassungen in RAG- und Wissenssystementwicklung
Fehlende oder unzureichende Dokumentation von Anpassungen (z.B. Update von Wissensquellen, Systemparametern, Retrieval-Logik) in der Entwicklung von RAG- und Wissenssystemen beeinträchtigt die Transparenz und verhindert eine vollständige Rückverfolgbarkeit.
Kontext
- Branche
- Branchenübergreifend
- Prozess
- Entwicklung und Training
- Schutzgut
- Transparenz Nachvollziehbarkeit
Ursachen
- Unzureichende Prozessvorgaben für das Änderungsmanagement in der Entwicklungsphase.
Auswirkungen
- Fehlende Nachvollziehbarkeit für Prüfungen
- erschwerte Fehlerbehebung und Unsicherheit über Funktionsstand.
Praxisbeispiel
- Ein RAG-System nutzt nachträglich geänderte Wissensdokumente
- ohne dass die Änderungen dokumentiert
- nachweisbar oder für das Entwicklungsteam nachvollziehbar sind.
Stakeholder
- Entwicklung
- Qualitätsmanagement
- Revision
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
- Verpflichtende Prozesse für Änderungsnachweise und -freigaben während der Entwicklung
Detektive Maßnahmen
- Stichprobenkontrollen und regelmäßige Reviews von Änderungsdokumentationen
Korrektive Maßnahmen
- Nachdokumentation fehlender Änderungen
- technische Rollbacks bei Fehlern
Pruefziele
- Vollständige
- lückenlose Dokumentation aller Änderungen in der Entwicklungsphase
Auditfragen
- Ist jeder relevante Änderungsschritt an Systemkomponenten und Wissensquellen dokumentiert und nachvollziehbar?
- Existiert eine Versionshistorie für Wissens-Updates während der Entwicklung?
Normbezüge
- ISO/IEC 42001 Kapitel 8.28.7 NIST AI RMF 1.0 Funktion GOVERNMANAGE
Normhinweise
- Normen fordern dokumentierte Entwicklungsprozesse und Nachweisführung insbesondere bei Wissenssystemen.
Nachweise
- Änderungsprotokolle
- Commit-Logs
- technische Freigabevermerke
Nachweistypen
- dokumentarisch
- systembasiert
Kontrollen
- Verpflichtende Versionsverwaltung
- Freigabeworkflow für Entwicklungsänderungen
Verwandte Risiken
Noch keine Beziehungen hinterlegt.