Prompt Injection: Wie manipulierte Anweisungen KI-Systeme beeinflussen

Was bedeutet Prompt Injection?

Bei einer Prompt Injection wird ein KI-Modell durch eine Eingabe oder einen gelesenen Inhalt zu einem unerwarteten Verhalten beeinflusst. Die Anweisung muss dabei nicht sichtbar oder als Programmcode erkennbar sein. Es reicht, wenn sie vom Modell als Teil seines Kontexts verarbeitet wird.

OWASP führt Prompt Injection als zentrales Risiko für Anwendungen mit großen Sprachmodellen. Besonders relevant wird das Thema, wenn ein Modell nicht nur antwortet, sondern auf Dateien, Webseiten, E-Mails oder Unternehmenssysteme zugreifen kann.

Direkte und indirekte Manipulation

Direkte Prompt Injection

Bei einer direkten Manipulation gibt der Nutzer selbst eine Anweisung ein, die Schutzregeln umgehen, interne Informationen offenlegen oder das vorgesehene Verhalten des Systems verändern soll.

Indirekte Prompt Injection

Bei einer indirekten Manipulation stammt die problematische Anweisung aus einer externen Quelle – beispielsweise aus einer Webseite, einem PDF, einer E-Mail, einem Ticket oder einem Datensatz. Der Nutzer muss den Angriff nicht bewusst auslösen. Es reicht, dass ein Agent die Quelle liest und ihren Inhalt in seinen Arbeitskontext übernimmt.

Welche Folgen sind möglich?

• Vertrauliche Inhalte werden in eine Antwort oder an ein externes System übertragen.
• Interne Systemanweisungen oder technische Informationen werden offengelegt.
• Recherche- und Analyseergebnisse werden durch manipulierte Quellen verfälscht.
• Ein Agent ruft Funktionen auf, die für die konkrete Aufgabe nicht vorgesehen waren.
• Eine Entscheidung wird durch präparierte Inhalte oder falsche Zusammenfassungen beeinflusst.

Die mögliche Schadenswirkung hängt stark von der Architektur ab. Ein einfaches Chatfenster ohne externe Daten und Aktionen ist anders zu bewerten als ein Agent mit Zugriff auf Mailbox, CRM, Dateisystem und Versandfunktion.

Warum ein System-Prompt allein nicht genügt

Systemanweisungen und Filter können das Verhalten eines Modells begrenzen. Sie bilden aber keine vollständige technische Sicherheitsgrenze. Ein Sprachmodell verarbeitet Systemanweisungen, Nutzereingaben und externe Inhalte im selben Kontext. Auch Retrieval-Augmented Generation und Fine-Tuning beseitigen das Grundproblem nicht automatisch.

Die entscheidende Kontrolle muss deshalb außerhalb des Modells liegen: Berechtigungen, Datenflüsse, Funktionsaufrufe und kritische Aktionen sollten durch unabhängige Regeln geprüft werden.

Wie Unternehmen das Risiko begrenzen

• Externe Inhalte klar trennen: Webseiten, Dokumente und E-Mails sollten als nicht vertrauenswürdige Daten gekennzeichnet werden.
• Minimale Berechtigungen verwenden: Ein Agent sollte nur die Daten und Werkzeuge erhalten, die für seine konkrete Aufgabe erforderlich sind.
• Ausgaben validieren: Strukturierte Daten, Zieladressen, Dateipfade und Berechtigungsänderungen dürfen nicht ungeprüft aus einer Modellantwort übernommen werden.
• Hochrisiko-Aktionen freigeben lassen: Versand, Löschung, Veröffentlichung, Zahlungen und Rechteänderungen sollten einen menschlichen Kontrollpunkt besitzen.
• Werkzeugaufrufe protokollieren: Datenzugriffe und ungewöhnliche Aktionen müssen nachvollziehbar sein und kurzfristig blockiert werden können.
• Adversarial testen: Unternehmen sollten manipulierte E-Mails, Dokumente, Bilder, mehrere Sprachen und mehrstufige Aufgabenketten regelmäßig prüfen.

Eine einfache Frage für die Praxis

Bei jeder neuen KI-Integration sollte geklärt werden: Kann ein fremder Inhalt, den das System nur lesen soll, indirekt eine Aktion auslösen?

Wenn die Antwort „ja“ lautet, müssen Datenzugriff, Funktionsaufrufe und menschliche Freigaben besonders sorgfältig begrenzt werden. Die konkrete Prüfung gehört in die Sicherheits- und Freigabeprozesse des Unternehmens.

Fazit

Prompt Injection ist kein Problem, das sich mit einem einzelnen Filter dauerhaft erledigen lässt. Das Risiko entsteht aus dem Zusammenspiel von Modell, Kontext, Datenquellen und verbundenen Werkzeugen.

Eine belastbare Schutzstrategie kombiniert daher getrennte Daten, minimale Rechte, validierte Ausgaben, menschliche Freigaben, Protokollierung und laufende Angriffssimulationen.