Canary-Token
Ein Canary-Token ist eine eindeutige Zeichenfolge, die verdeckt in den System-Prompt eingebettet wird. Taucht sie in einer Ausgabe auf, ist ein Prompt-Leck nachgewiesen — ein einfaches, wirksames Frühwarnsignal.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Prompt Leaking, System-Prompt, Guardrail.
Bezug zu Prompt Injection
Der Wert liegt in der Erkennung, nicht in der Abwehr: Erscheint der Token in einer Ausgabe, ist ein Leck belegt, ohne dass man den Angriffsweg kennen muss. Er eignet sich damit als Dauerüberwachung im Betrieb und als Abbruchkriterium im Red Teaming. Je Anwendung und möglichst je Sitzung sollte ein eigener, zufälliger Token verwendet werden, damit der Fundort eindeutig zuzuordnen ist.
Beispiel
Im System-Prompt steht eine zufällige Zeichenfolge; ein Monitor prüft jede Ausgabe darauf und schlägt an, sobald sie auftaucht.
Verwandte Begriffe
- Prompt Leaking — Prompt Leaking ist die Offenlegung des verborgenen System-Prompts einer Anwendung. Der erbeutete Text macht Folgeangriffe…
- System-Prompt — Der System-Prompt ist die vom Betreiber gesetzte Grundanweisung, die Rolle, Regeln und Aufgabenrahmen des Modells festlegt. Er…
- Guardrail — Ein Guardrail ist eine Schutzschicht außerhalb des Modells, die Ein- und Ausgaben prüft, filtert oder blockiert. Guardrails sind…
Quellen
- Canary-Token — Beleg: https://github.com/protectai/rebuff