prompt injections.de
News · Forschung

CaMeL: Prompt Injection „by design" verhindern — Stand und Grenzen

· Gökhan Köse

CaMeL ist ein Verteidigungsansatz von Forschenden bei Google DeepMind und der ETH Zürich, der Prompt Injection nicht im Modell bekämpft, sondern in der Software um das Modell herum: Der Kontrollfluss wird aus der vertrauenswürdigen Nutzeranfrage abgeleitet, sodass abgerufene Fremddaten den Programmablauf nicht mehr beeinflussen können. Im Benchmark AgentDojo löst CaMeL 77 Prozent der Aufgaben mit nachweisbarer Sicherheit, gegenüber 84 Prozent bei einem ungeschützten System.1 Die Arbeit erschien im März 2025 als Preprint und wurde auf der IEEE Conference on Secure and Trustworthy Machine Learning (SaTML) 2026 veröffentlicht.2

Schaubild: Privilegiertes Planer-Modell und isoliertes Lese-Modell tauschen nur strukturierte Werte aus; der Fremdtext bleibt in der Sandbox.

Wie der Ansatz arbeitet

CaMeL zerlegt die Aufgabe in zwei Rollen. Ein privilegiertes Modell sieht nur die Anfrage des Nutzers und übersetzt sie in ein Programm — eine Abfolge von Schritten und Werkzeugaufrufen. Ein zweites, unter Quarantäne gestelltes Modell verarbeitet die Fremddaten, etwa den Text einer E-Mail oder einer Webseite, hat aber keinen Zugriff auf Werkzeuge und kann den Ablauf nicht ändern. Dazwischen steht ein eigener Interpreter, der die Herkunft jedes Werts mitführt und vor jedem Werkzeugaufruf prüft, ob die hinterlegte Richtlinie den Aufruf erlaubt.1

Der Grundgedanke stammt aus der klassischen Softwaresicherheit: Trennung von Steuerung und Daten, dazu Capabilities, die an Werte gebunden sind. Was ein Sprachmodell nicht zuverlässig leisten kann — Anweisung von Inhalt unterscheiden —, wird damit aus dem Modell herausgezogen und in eine überprüfbare Schicht verlagert. Das erklärt die Formulierung im Titel der Arbeit: nicht Erkennung, sondern Konstruktion. → Dual-LLM-Muster und CaMeL · Glossar: CaMeL

Was das Ergebnis wirklich sagt

Die Zahl 77 zu 84 Prozent beschreibt keinen Erkennungsgrad, sondern den Preis der Absicherung: Sieben Prozentpunkte weniger gelöste Aufgaben, dafür eine Aussage über die Sicherheit, die nicht auf einer Modellvorhersage beruht, sondern auf einer erzwungenen Richtlinie.1 Das ist der entscheidende Unterschied zu Filtern und Klassifikatoren, deren Wirkung mit jeder neuen Formulierung des Angreifers neu verhandelt wird.

Simon Willison, der den Begriff Prompt Injection 2022 geprägt hat, bezeichnete den Ansatz kurz nach Erscheinen als die bislang überzeugendste Richtung — und wies zugleich auf den Preis hin: Wer Richtlinien schreiben muss, muss wissen, welche Datenflüsse er erlauben will.3

Die Grenzen

Drei Einschränkungen sind belegt und für Betreiber relevant.

Die Richtlinien sind Handarbeit. CaMeL verlagert das Sicherheitsproblem in eine Policy, die jemand formulieren, pflegen und im Zweifel debuggen muss. Fehlt sie oder ist sie zu weit gefasst, greift der Schutz nicht.1

Nicht jeder Angriffsweg ist abgedeckt. Die Autoren beschreiben den Ansatz als Schutz gegen die Wirkung eingeschleuster Anweisungen auf den Kontrollfluss und die Datenexfiltration über unerlaubte Flüsse — nicht als vollständige Lösung aller Angriffsklassen.1 Ein unter Quarantäne stehendes Modell kann weiterhin eine falsche Zusammenfassung liefern; nur richtet diese keinen Schaden am System an.

Die Verbreitung bleibt hinter der Idee zurück. Eine Bestandsaufnahme vom 12. Februar 2026 kommt zu dem Schluss, dass rund zehn Monate nach der Veröffentlichung überzeugende Umsetzungen in Produktivsystemen weiterhin selten sind und die Branche überwiegend auf reaktive Verteidigung setzt — Filter, Prompt-Anpassungen, Nachtraining.4 Der Referenzcode ist öffentlich verfügbar.5

Einordnung

CaMeL ist kein Produkt, das man einschaltet, sondern ein Architekturmuster mit Aufwand: geringere Aufgabenabdeckung, zusätzliche Komponenten, Pflege von Richtlinien. Für Anwendungen, in denen ein Assistent private Daten sieht und zugleich handeln darf, ist das die derzeit belastbarste Antwort auf ein Problem, für das es nach Stand der Forschung keine vollständige Lösung gibt. → Instruktions-Hierarchie · Schutzmaßnahmen im Überblick

Quellen

  1. Debenedetti, Shumailov, Fan, Hayes, Carlini, Fabian, Kern, Shi, Terzis, Tramèr: Defeating Prompt Injections by Design, arXiv:2503.18813 (v1 24.03.2025, v2 24.06.2025). https://arxiv.org/abs/2503.18813 ↩
  2. Publikationsseite Florian Tramèr: Defeating Prompt Injections by Design, IEEE Conference on Secure and Trustworthy Machine Learning (SaTML) 2026. https://floriantramer.com/publications/camel25/ ↩
  3. Simon Willison: CaMeL offers a promising new direction for mitigating prompt injection attacks, 11.04.2025. https://simonwillison.net/2025/Apr/11/camel/ ↩
  4. NeuralTrust: Ten Months After CaMeL, Where Are the Secure AI Agents?, 12.02.2026. https://neuraltrust.ai/blog/camel-prompt-injection ↩
  5. Google Research: camel-prompt-injection (Referenzimplementierung). https://github.com/google-research/camel-prompt-injection ↩

Im Zusammenhang