SecAlign
SecAlign härtet Modelle über Preference-Optimierung: Trainiert wird auf simulierten Injektionen mit jeweils erwünschter und unerwünschter Antwort. Gegenüber StruQ berichten die Autoren eine nochmals deutlich reduzierte Erfolgsquote optimierungsfreier Angriffe.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind StruQ, Alignment, Instruktions-Hierarchie.
Bezug zu Prompt Injection
SecAlign baut auf StruQ auf und nutzt Präferenzoptimierung: Zu jeder simulierten Injektion wird dem Modell die erwünschte und die unerwünschte Antwort gezeigt, wodurch es lernt, injizierte Anweisungen systematisch niedriger zu bewerten. Meta stellt dafür eine offene Referenzimplementierung bereit. Auch hier gilt: Die Maßnahme senkt Erfolgsquoten und ersetzt weder Rechtebegrenzung noch Ausgabeprüfung. Für Betreiber ohne eigenes Training ist die Arbeit vor allem als Beleg relevant, dass sich Injektionsanfälligkeit trainierbar senken lässt — und als Argument, bei Anbietern nach entsprechend gehärteten Modellen zu fragen.
Beispiel
Ein entsprechend feingetuntes Modell beantwortet weiterhin die Nutzerfrage, obwohl das mitgelieferte Dokument eine abweichende Anweisung enthält.
Verwandte Begriffe
- StruQ — StruQ ist ein Trainingsverfahren, das mit reservierten Sondertoken eine strukturelle Trennung von Anweisung und Daten erzwingt…
- Alignment — Alignment bezeichnet die Ausrichtung eines Modells auf hilfreiches, ehrliches und unschädliches Verhalten, typischerweise über…
- Instruktions-Hierarchie — Die Instruktions-Hierarchie trainiert ein Modell darauf, Anweisungen nach Vertrauensstufe zu gewichten: System vor Entwickler…
Quellen
- SecAlign — Beleg: https://arxiv.org/abs/2410.05451