Skip to content
Zurueck zur Bibliothek
DAX-IS-002InformationssicherheitInformationssicherheitRAG, Fine-Tuning und ModellbetriebHochmedium

Manipulation von KI-Modellen oder Wissensquellen

Modelle, Prompts, Systemanweisungen, Vektorindizes oder Wissensquellen koennen unbemerkt manipuliert werden und dadurch falsche oder schaedliche Ergebnisse erzeugen.

Kontext

Branche
branchenuebergreifend
Prozess
Integritaet und Change Management
Schutzgut
Integritaet

Ursachen

  • fehlendes Change Management fuer KI-Artefakte
  • unzureichende Integritaetspruefung
  • zu breite Schreibrechte auf Wissensquellen

Auswirkungen

  • falsche Entscheidungen
  • Desinformation
  • Sicherheits- und Compliance-Verstoesse

Praxisbeispiel

  • Eine unautorisierte Aenderung in einer Wissensdatenbank fuehrt dazu
  • dass ein KI-Assistent falsche regulatorische Auskuenfte gibt.

Stakeholder

  • IT-Betrieb
  • Informationssicherheit
  • Fachbereich
  • Compliance
  • Nutzer

Massnahmen

  • KI-Artefakte in Change Management aufnehmen
  • Integritaetspruefungen fuer Wissensquellen etablieren
  • Schreibrechte restriktiv vergeben

Praeventive Massnahmen

  • Vier-Augen-Prinzip fuer kritische Prompt- und Wissensaenderungen
  • Versionierung fuer Modelle, Prompts und Indizes
  • Zugriffe nach Need-to-know begrenzen

Detektive Massnahmen

  • Hash- oder Versionsabweichungen ueberwachen
  • Aenderungsprotokolle auswerten
  • Antwortqualitaet gegen Referenzfaelle testen

Korrektive Massnahmen

  • auf letzte freigegebene Version zurueckrollen
  • manipulierte Quellen sperren
  • Root-Cause-Analyse und Rechtebereinigung durchfuehren

Pruefziele

  • Nachweisen
  • dass KI-Artefakte und Wissensquellen kontrolliert geaendert und gegen Manipulation geschuetzt werden.

Auditfragen

  • Welche KI-Artefakte unterliegen dem Change Management?
  • Wie werden Aenderungen an Wissensquellen freigegeben?
  • Welche Integritaetskontrollen erkennen unautorisierte Aenderungen?

Normbezuege

  • ISO/IEC 27001
  • ISO/IEC 42001

Normhinweise

  • Abgeleitet aus Change Management
  • Integritaetsschutz
  • Zugriffskontrolle und kontrolliertem KI-Betrieb.

Nachweise

  • Change-Protokolle
  • Versionshistorie
  • Berechtigungsnachweise
  • Integritaetsberichte

Nachweistypen

  • Protokoll
  • Konfiguration
  • Kontrollnachweis
  • Freigabe

Kontrollen

  • kritische KI-Artefakte versionieren
  • Schreibrechte fuer Wissensquellen monatlich pruefen

Verwandte Risiken

Noch keine Beziehungen hinterlegt.