Unklare Freigabeprozesse für Wissensquellen in RAG- und Wissenssystemen vor Produktivsetzung

Kontext

Branche

Branchenübergreifend

Prozess

Validierung und Freigabe

Schutzgut

Integrität Regelkonformität

Ursachen

• Zeitdruck
• fehlende Standardprozesse oder Verantwortlichkeiten; Überspringen der Validierung vor Produktivgang.

Auswirkungen

• Verwendung nicht validierter Inhalte führt zu falschen KI-Ausgaben
• Haftungsrisiken oder Beschwerden von Betroffenen; erschwerte Nachvollziehbarkeit und Compliance-Verletzungen.

Praxisbeispiel

• Ein RAG-unterstütztes System übernimmt Informationen aus ungeprüften Firmen-Wikis und gibt diese ohne Evidenzprüfung an Kunden weiter.

Stakeholder

• Produktverantwortliche
• Fachbereich
• IT
• Wissensmanagement
• Recht

Maßnahmen

Noch nicht hinterlegt.

Präventive Maßnahmen

• Pflicht zur Freigabe aller Wissensquellen und RAG-Feeds durch den Fachbereich vor Live-Gang
• Dokumentierte Validierungsschritte nach ISO/IEC 42001 Kapitel 8.7

Detektive Maßnahmen

• Auditlog kontierter Freigaben im Release-Management
• Stichprobenprüfung eingesetzter Wissensquellen

Korrektive Maßnahmen

• Ex-Post-Prüfung und Sperrung ungeprüfter Quellen
• Nachträgliche Dokumentation der Freigabeprozesse

Pruefziele

• Nachweis des dokumentierten Freigabeprozesses vor Einbindung neuer Wissensquellen in RAG-Systeme.

Auditfragen

• Sind alle Wissensquellen vor Produktivsetzung freigegeben und dokumentiert?
• Enthält die Freigabedokumentation die verantwortlichen Personen und Prüfschritte?

Normbezüge

• ISO/IEC 42001 Kapitel 8.7 NIST AI RMF 1.0 GOVERN

Normhinweise

• Validierungs- und Freigabepflichten explizit geregelt

Nachweise

• Freigabeprotokolle
• Systemauditlogs
• Release-Management-Dokumente

Nachweistypen

• Dokumentation
• Systemprotokoll

Kontrollen

• Freigabeprozess-Auflage im Deployment-Workflow
• Zugriffsbeschränkungen für nicht freigegebene Inhalte

Verwandte Risiken

Noch keine Beziehungen hinterlegt.