Begrenzer (Delimiter)
Begrenzer sind Markierungen, die Datenbereiche im Prompt vom Anweisungsbereich abgrenzen. Sie helfen nur, wenn die Zeichen in den Daten selbst zuverlässig entfernt oder maskiert werden — sonst lassen sie sich einfach nachbilden.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Spotlighting, StruQ, Instruktions-Hierarchie.
Bezug zu Prompt Injection
Begrenzer sind die einfachste Form der Anweisungs-Daten-Trennung und deshalb weit verbreitet — sie sind aber nur so stark wie die Bereinigung der Daten. Enthält der eingefügte Text dieselbe Markierung, kann er den Datenbereich schließen und ab dort als Anweisung gelesen werden; das entspricht dem Ausbruch aus einer Zeichenkette bei SQL-Injection. Zufällige, je Anfrage neu erzeugte Begrenzer erschweren das, lösen es aber nicht.
Beispiel
Ein Dokument enthält selbst die Zeichenfolge, mit der die Anwendung ihren Datenbereich beendet — der nachfolgende Text steht für das Modell damit im Anweisungsbereich.
Verwandte Begriffe
- Spotlighting — Spotlighting kennzeichnet externe Inhalte im Prompt eindeutig als Daten — durch Begrenzer, Markierungen oder Kodierung — damit…
- StruQ — StruQ ist ein Trainingsverfahren, das mit reservierten Sondertoken eine strukturelle Trennung von Anweisung und Daten erzwingt…
- Instruktions-Hierarchie — Die Instruktions-Hierarchie trainiert ein Modell darauf, Anweisungen nach Vertrauensstufe zu gewichten: System vor Entwickler…
Quellen
- Begrenzer (Delimiter) — Beleg: https://arxiv.org/abs/2402.06363