Mangelhafte Berücksichtigung von Informationssicherheitsaspekten in der initialen Klassifizierung generativer KI und LLM
Bei der Planung und Klassifizierung generativer KI- und LLM-Anwendungen werden spezifische Informationssicherheitsrisiken wie Input-Manipulation oder Output-Leakage häufig nicht systematisch erfasst und bewertet, was zu unzureichenden Sicherheitsmaßnahmen während des gesamten Lebenszyklus führt.
Kontext
- Branche
- Branchenübergreifend
- Prozess
- Planung und Klassifizierung
- Schutzgut
- Vertraulichkeit Integrität Verfügbarkeit
Ursachen
- Fehlende Einbindung der Informationssicherheitsbeauftragten in der Planungsphase; keine KI-spezifischen Sicherheitsanforderungen festgelegt; unvollständige Risikoanalyse.
Auswirkungen
- Erhöhte Wahrscheinlichkeit von Datenverlust
- Datenschutzverletzungen oder Modellangriffen; spätere Nachrüstungen führen zu erheblichen Projektrisiken und -kosten.
Praxisbeispiel
- Ein LLM-basierter Assistent wird entwickelt
- ohne potenzielle Prompts für Prompt Injection oder Output Manipulation während der Klassifizierung zu berücksichtigen. Spätere Sicherheitsprobleme führen zu Betriebsunterbrechung.
Stakeholder
- Projektleitung
- Informationssicherheitsbeauftragte
- IT-Architektur
- Modellentwicklung
Maßnahmen
Noch nicht hinterlegt.
Präventive Maßnahmen
- Verpflichtende Sicherheitsanforderungsanalyse in der Planung
- Einbindung von Informationssicherheits- und Datenschutzbeauftragten in alle KI-Planungsphasen
Detektive Maßnahmen
- Prüfung der initialen Sicherheitsklassifizierung durch interne Revision
- Durchsicht der Systemdokumentation und Risikoanalyse
Korrektive Maßnahmen
- Überprüfung und Nachbesserung der Klassifizierung
- Nachträgliche Implementierung fehlender technischer Sicherheitsmaßnahmen
Pruefziele
- Sicherheitsrelevante Risiken werden explizit im Planungskontext generativer KI-Systeme adressiert und dokumentiert.
Auditfragen
- Wurden Informationssicherheitsbeauftragte an der Systemklassifizierung beteiligt?
- Liegen dokumentierte Sicherheitsanforderungen für das geplante KI-System vor?
- Ist die Risikoanalyse spezifisch auf generative KI-typische Bedrohungen ausgelegt?
Normbezüge
- ISO/IEC 27001 Annex A.6.1A.8.2 ISO/IEC 42001 Kapitel 58.2 NIST AI RMF 1.0 Funktion GOVERNMAP
Normhinweise
- ISO/IEC 27001 verlangt die frühzeitige Berücksichtigung von Sicherheit in neuen Projekten.
- ISO/IEC 42001 fordert explizite Klassifizierung und Schutzbedarfsfeststellung für KI-Systeme.
- NIST GOVERN/MAP erfordern Security-by-Design ab Planungsbeginn.
Nachweise
- Risikoanalyseunterlagen initiale Projektphase
- Sicherheitsanforderungskatalog für generative KI
- Teilnehmerlisten/Protokolle Planungsmeetings
Nachweistypen
- Risikobewertung
- Protokolle
- Anforderungsdokumente
Kontrollen
- Sicherheitsklassifizierungs-Templates
- Sicherheitsworkshops
- Pflicht zur Security-Dokumentation vor Projektfortschritt
Verwandte Risiken
Noch keine Beziehungen hinterlegt.