Prompt Injection

Was bedeutet Prompt Injection?

Prompt Injection beschreibt eine Methode, bei der ein Benutzer gezielt Eingaben (Prompts) an ein KI-Modell sendet, um dessen Reaktion zu steuern oder zu manipulieren. Dies kann dazu führen, dass das Modell unerwünschte oder schädliche Ausgaben generiert, indem es auf die spezifische Formulierung des Eingangs reagiert. Die Technik wird häufig in der Überprüfung und Testung von KI-Modellen berücksichtigt, um Sicherheit und Robustheit zu gewährleisten.

Warum ist das für Unternehmen wichtig?

Für kleine und mittlere Unternehmen ist es entscheidend, sich der Risiken von Prompt Injection bewusst zu sein, insbesondere wenn KI-Systeme in empfindlichen Prozessen eingesetzt werden. Eine unzureichende Handhabung dieser Techniken kann zu fehlerhaften Ergebnissen oder Sicherheitsverletzungen führen.

Beispiele

Ein Nutzer fügt eine schädliche Anweisung in den Input für ein Sprachmodell ein, um vertrauliche Informationen zu extrahieren.
Ein automatisch generierter Text, der manipuliert wurde, um gemischte oder falsche Daten bereitzustellen.

Typische Risiken oder Fehler

Unbeabsichtigte Offenlegung von sensiblen Informationen.
Generierung von falschen oder irreführenden Inhalten.
Beeinträchtigung der Nutzererfahrung durch inkorrekte Responses.