Nicht überprüfte Integrität von Datenquellen bei der Beschaffung für generative KI und LLM

Kontext

Branche

Branchenübergreifend

Prozess

Daten und Beschaffung

Schutzgut

Integrität

Ursachen

• Fehlende Prozesse oder technische Maßnahmen zur Integritätsprüfung und Signaturkontrolle externer und interner Datenquellen.

Auswirkungen

• Zunehmendes Risiko für Data Poisoning
• unerwünschte Modellmanipulation und potenzieller Verlust des Vertrauens in KI-Ergebnisse.

Praxisbeispiel

• Eine frei verfügbare Datenquelle mit unbemerkt kompromittierten Inhalten wird zur Modellanreicherung verwendet und führt zu schädlichem Output.

Stakeholder

• IT-Security
• Data Engineer
• Projektleitung
• Provider Management

Maßnahmen

Noch nicht hinterlegt.

Präventive Maßnahmen

• Integritätschecks bei Übernahme jeder Datenquelle (z.B. Signatur, Hash-Prüfung)
• Blacklist-Management potentiell unsicherer Quellen

Detektive Maßnahmen

• Regelmäßige Prüfungen und Monitoring der Datenquellen auf Manipulationen
• Testdaten mit bekannten Hashes vergleichen

Korrektive Maßnahmen

• Aussortieren kompromittierter Datenquellen
• Rücksetzen und Neuansetzen von Trainingsläufen

Pruefziele

• Überprüfung
• ob systematische Integritätskontrollen auf alle beschafften Datenquellen angewendet und dokumentiert werden.

Auditfragen

• Sind Maßnahmen zur Integritätsprüfung aller Datenquellen dokumentiert und wirksam?
• Wurden Kompromittierungen oder Manipulationen erkannt und nachverfolgt?

Normbezüge

• ISO/IEC 27001 A.5.25
• A.8.7 ISO/IEC 42001 Kapitel 8.5 NIST AI RMF 1.0 Funktion MAP

Normhinweise

• ISO/IEC 27001: Integrität von Informationsquellen und Inhalten gewährleisten
• ISO/IEC 42001: Technische Sicherheitsmaßnahmen auf Datenebene verpflichtend

Nachweise

• Integritätsprüfprotokolle
• Blacklist-Register kompromittierter Quellen

Nachweistypen

• Technische Prüfprotokolle
• Verfahrensdokumentation

Kontrollen

• Data Source Integrity Checker
• Source Whitelisting

Verwandte Risiken

Noch keine Beziehungen hinterlegt.