Wenn der KI-Agent zu viel darf: Das Risiko hinter „Excessive Agency“
KI-Agenten werden gefährlich, wenn sie mehr Funktionen, Berechtigungen oder Entscheidungsspielraum erhalten, als ihre konkrete Aufgabe erfordert.
Was bedeutet „Excessive Agency“?
Ein KI-Agent kann heute nicht nur Texte erzeugen. Je nach Produkt darf er E-Mails lesen, Dateien durchsuchen, Datenbanken abfragen, Webseiten öffnen oder Aktionen in anderen Systemen auslösen. Genau darin liegt sein praktischer Nutzen – und ein eigenes Sicherheitsrisiko.
OWASP beschreibt Excessive Agency als Risiko, bei dem unerwartete, mehrdeutige oder manipulierte Modell-Ausgaben schädliche Aktionen auslösen können. Die Ursachen liegen typischerweise in zu vielen Funktionen, zu weitreichenden Berechtigungen oder zu viel Autonomie.
Drei Wege, wie ein Agent zu viel Handlungsspielraum bekommt
Zu viele Funktionen
Ein Agent soll vielleicht Dokumente zusammenfassen, besitzt aber zusätzlich Werkzeuge zum Ändern oder Löschen von Dokumenten. Die nicht benötigte Funktion vergrößert die mögliche Schadenswirkung, selbst wenn sie im normalen Ablauf kaum genutzt wird.
Zu weitreichende Berechtigungen
Ein Agent benötigt Leserechte auf eine einzelne Datenquelle, greift aber mit einem Konto zu, das viele weitere Tabellen oder Benutzerkonten verwalten kann. Dann wird aus einer kleinen Assistenzfunktion ein privilegierter Zugang zu mehreren Systembereichen.
Zu viel Autonomie
Ein Agent darf eine wichtige Aktion ohne zusätzliche Prüfung ausführen. Dazu können das Versenden einer Nachricht, das Ändern eines Datensatzes, das Freigeben einer Bestellung oder das Löschen einer Datei gehören.
Warum entstehen solche Risiken?
Agenten werden häufig schrittweise entwickelt. Zunächst wird ein Werkzeug für einen Test freigeschaltet. Später kommen weitere Integrationen hinzu, ohne dass alte Funktionen entfernt oder Berechtigungen neu bewertet werden.
Wenn Eingaben manipuliert sind oder das Modell eine Anweisung falsch interpretiert, kann es eine Funktion auf eine Weise nutzen, die im ursprünglichen Entwurf nicht vorgesehen war. Prompt Injection, kompromittierte Erweiterungen und fehlerhafte Modellantworten können das Problem verstärken.
Wie Unternehmen das Risiko reduzieren können
- Nur notwendige Werkzeuge freigeben: Ein Agent sollte nur Funktionen sehen und aufrufen können, die er für seinen konkreten Zweck benötigt.
- Funktionen granular gestalten: „Datei lesen“ und „Datei zur Freigabe vorbereiten“ sind kontrollierbarer als ein offenes Werkzeug „Dateien verwalten“.
- Berechtigungen minimieren: Lesen sollte nicht automatisch Schreiben, Ändern oder Löschen erlauben. API-Scopes und Rollen gehören zum konkreten Anwendungsfall.
- Im Benutzerkontext handeln: Aktionen sollten möglichst mit den überprüfbaren Rechten der jeweiligen Person erfolgen – nicht über ein gemeinsames Administratorkonto.
- Menschliche Freigaben einbauen: Externe Kommunikation, finanzielle Vorgänge, Löschungen, Rechteänderungen und Veröffentlichungen benötigen einen Kontrollpunkt.
- Berechtigungen im Zielsystem erzwingen: Ein Sprachmodell darf nicht selbst entscheiden, ob eine Aktion erlaubt ist. Nachgelagerte Systeme müssen Regeln unabhängig prüfen.
- Protokollieren und begrenzen: Werkzeugaufrufe und Datenzugriffe sollten nachvollziehbar sein. Rate Limits und automatische Stopps begrenzen den möglichen Schaden.
Eine einfache Prüfung vor dem Produktiveinsatz
Für jedes Werkzeug sollte ein Unternehmen beantworten können: Welche konkrete Aufgabe rechtfertigt die Funktion? Welche Daten kann sie lesen, verändern oder löschen? Welches Konto und welche Rolle werden verwendet? Welche Aktion benötigt eine menschliche Freigabe? Wie wird ein Missbrauch erkannt und beendet?
Wenn diese Fragen nicht beantwortet werden können, ist der Agent wahrscheinlich noch nicht ausreichend kontrolliert. Ein längerer System-Prompt ersetzt weder minimale Rechte noch technische Kontrollen.
Fazit
Excessive Agency bedeutet nicht, dass KI-Agenten grundsätzlich unsicher sind. Das Risiko entsteht, wenn ihre Möglichkeiten größer sind als ihre Aufgabe und kritische Aktionen ohne unabhängige Berechtigungsprüfung oder menschliche Freigabe möglich werden.
Die wirksamste Gegenmaßnahme ist deshalb eine begrenzte Architektur: wenige Funktionen, minimale Rechte, klare Freigaben, unabhängige Kontrollen und nachvollziehbare Protokolle.