Adversariale Eingabe
Eine adversariale Eingabe ist gezielt so konstruiert, dass ein Modell fehlerhaft oder regelwidrig reagiert. Bei Sprachmodellen reicht die Bandbreite vom optimierten Zeichensuffix bis zum sorgfältig formulierten Rollenspiel.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind GCG-Suffix, Perplexitäts-Filter, Jailbreak.
Bezug zu Prompt Injection
Die beiden Enden dieser Bandbreite erfordern unterschiedliche Abwehr: Maschinell optimierte Zeichenfolgen sind statistisch auffällig und über Perplexität erkennbar, sprachlich flüssige Angriffe nicht. Wer nur gegen eine der beiden Klassen schützt, verschiebt Angreifer zuverlässig zur anderen. Deshalb wirkt die Kombination aus Eingabeprüfung, Rechtebegrenzung und Ausgabekontrolle besser als jede Einzelmaßnahme. Für die Praxis heißt das, Angriffsklassen getrennt zu bewerten: Was gegen optimierte Suffixe hilft, sagt nichts über die Widerstandsfähigkeit gegen mehrstufige Gesprächsangriffe aus.
Beispiel
Nachdem ein Perplexitäts-Filter kryptische Suffixe blockiert, weichen die Testangriffe auf normal formulierte Rollenspiel-Prompts aus.
Verwandte Begriffe
- GCG-Suffix — Ein GCG-Suffix ist eine automatisch berechnete, meist sinnlos wirkende Zeichenfolge, die an eine Anfrage angehängt deren…
- Perplexitäts-Filter — Ein Perplexitäts-Filter verwirft Eingaben, deren statistische Unwahrscheinlichkeit auf maschinell optimierten Text hindeutet. Er…
- Jailbreak — Ein Jailbreak ist der Versuch, die Sicherheitsregeln eines Modells auszuhebeln, damit es Inhalte erzeugt, die es normalerweise…
Quellen
- Adversariale Eingabe — Beleg: https://arxiv.org/abs/2307.15043