Unzureichender Schutz von Trainings- und Eingabedaten im KI-Lebenszyklus

Kontext

Branche

Alle Branchen

Prozess

Datenmanagement

Schutzgut

Vertraulichkeit Integrität Verfügbarkeit

Ursachen

• Fehlende Datenklassifizierung
• Zu weit gefasste Berechtigungen
• Unzureichende Verschlüsselung
• Kein Prompt- und Output-Logging-Konzept

Auswirkungen

• Datenabfluss
• Manipulierte Modelle
• Verlust von Geschäftsgeheimnissen
• Compliance-Verstöße

Praxisbeispiel

• Mitarbeitende geben vertrauliche Kundendaten in ein nicht freigegebenes generatives KI-Tool ein.

Stakeholder

• Informationssicherheitsbeauftragte
• IT-Betrieb
• Datenschutz
• Fachbereich

Maßnahmen

Noch nicht hinterlegt.

Präventive Maßnahmen

• Datenklassifizierung für KI-Nutzung definieren
• Zugriff nach Need-to-know umsetzen
• Freigegebene KI-Tools und Nutzungsregeln bereitstellen

Detektive Maßnahmen

• Monitoring auf sensible Eingaben
• Review von Zugriffsrechten
• Protokollauswertung für KI-Dienste

Korrektive Maßnahmen

• Zugriffsrechte entziehen
• Datenabfluss bewerten
• Sicherheitsvorfallprozess starten
• Nutzungsrichtlinie schärfen

Pruefziele

• Prüfen
• ob sensible Daten in KI-Systemen angemessen klassifiziert
• geschützt und überwacht werden.

Auditfragen

• Welche Datenklassen dürfen in das KI-System eingegeben werden?
• Welche Zugriffskontrollen gelten?
• Wie werden Sicherheitsereignisse erkannt?

Normbezüge

• ISO/IEC 27001 ISO/IEC 42001 SDM

Normhinweise

• Quellenbezug: Informationssicherheitsmanagement nach ISO/IEC 27001
• KI-Managementsystem nach ISO/IEC 42001 und SDM-Schutzziele.

Nachweise

• Datenklassifizierung
• Berechtigungskonzept
• Logging-Konzept
• Sicherheitsrichtlinie KI

Nachweistypen

• Richtlinie
• Systemkonfiguration
• Logauszug

Kontrollen

• KI-DLP-Regelwerk
• Zugriffsreview
• Verschlüsselung für KI-Datenablägen

Verwandte Risiken

• DAX-IS-27001-002 - Manipulation produktiver KI-Modelle oder Wissensquellen
  Verwandtes Risiko: Schutz von Daten und Integritaet von Modellen/Wissensquellen gehoeren zusammen.