Tool Poisoning
Beim Tool Poisoning enthält die Beschreibung eines Werkzeugs versteckte Anweisungen, die der Agent bereits beim Auflisten der verfügbaren Tools liest. Der Angriff wirkt, ohne dass das Werkzeug jemals aufgerufen wird.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Model Context Protocol (MCP), Lieferkette (Supply Chain), KI-Agent.
Bezug zu Prompt Injection
Der Angriff sitzt eine Ebene tiefer als die klassische Injektion: Nicht die Daten, sondern die Werkzeug-Metadaten tragen den Payload — und die liest der Agent bereits beim Verbindungsaufbau. Beschrieben ist zusätzlich der Fall, dass eine zunächst harmlose Beschreibung erst nach der Freigabe verändert wird. Wirksam sind das Festschreiben der Beschreibungen, eine Prüfung beim Einbinden und die Anzeige der vollständigen Definition gegenüber dem Nutzer.
Beispiel
Die Beschreibung eines Wetter-Werkzeugs enthält einen Absatz, der den Agenten anweist, zusätzlich Inhalte aus dem Arbeitsverzeichnis an den Server zu übermitteln.
Verwandte Begriffe
- Model Context Protocol (MCP) — MCP ist ein offener Standard, über den KI-Anwendungen Werkzeuge und Datenquellen einheitlich anbinden. Weil Tool-Beschreibungen…
- Lieferkette (Supply Chain) — Die KI-Lieferkette umfasst alle fremden Bestandteile einer Anwendung: Modelle, Adapter, Datensätze, Bibliotheken und…
- KI-Agent — Ein KI-Agent ist ein System, das ein Sprachmodell mit Werkzeugen und einer Handlungsschleife verbindet, um Aufgaben eigenständig…
Quellen
- Tool Poisoning — Beleg: https://arxiv.org/abs/2504.03767