BSI-Handreichung „Evasion Attacks on LLMs": die Härtungs-Checkliste erklärt
Das Bundesamt für Sicherheit in der Informationstechnik hat am 10. November 2025 eine Handreichung samt Checkliste zur Härtung von LLM-Systemen veröffentlicht. Sie richtet sich an Entwicklerinnen, Entwickler und IT-Sicherheitsverantwortliche in Unternehmen und Behörden, die ein vortrainiertes Sprachmodell in einer eigenen Anwendung einsetzen, und behandelt Prompt Injections, Jailbreaks und adversariale Angriffe unter dem gemeinsamen Begriff der Evasion Attacks — Angriffe zur Laufzeit.1 Das Hauptdokument trägt die Version 1.0 vom 6. November 2025.2
Der Aufbau
Die Handreichung beschreibt zunächst die Angriffe und ordnet sie nach Mechanismus, Verschleierung, Eintrittspunkt und Position des Angreifers ein. Darauf folgt ein Katalog von Gegenmaßnahmen, gegliedert über vier Ebenen: Management, Mensch, System und Modell. Kapitel 4 zeigt, an welcher Stelle eines Referenz-LLM-Systems welche Maßnahme greift, Kapitel 5 behandelt sichere Entwurfsmuster, Kapitel 6 enthält die Checkliste.2
Bemerkenswert ist die Lagebeschreibung in der Einleitung. Das BSI nennt als besonders kritische Konstellation den Fall, dass ein System private Informationen verarbeitet, Inhalte aus nicht vertrauenswürdigen Quellen erhält und ein Abflusspfad existiert, etwa das Nachladen von Bildern aus dem Internet. Bestehende Schutzmechanismen wie Feintuning bezeichnet die Behörde in diesem Zusammenhang als häufig unzureichend.2
Die Checkliste in drei Schritten
Die separate Checkliste ist als chronologische Aufgabenliste angelegt und in drei Bereiche geteilt.3
1. Grundlagen. Funktionsweise von LLMs verstehen, Angriffsarten anhand von Literatur und praktischen Beispielen nachvollziehen, Gegenmaßnahmen kennen, Nutzende sensibilisieren.
2. Bedrohungsmodellierung. Anwendungsfall beschreiben und skizzieren, Angriffsziele bestimmen (Welche Daten? Welche Wirkung hat eine manipulierte Ausgabe? Welche Aktionen kann ein manipuliertes Modell auslösen?), Angreifer identifizieren, Komponenten auf Eintrittspunkte prüfen. Ausdrücklich aufgenommen ist die Prüfung auf die Tödliche Trias beziehungsweise Metas Agents Rule of Two: Hat das Modell Zugriff auf private Daten, sieht es nicht vertrauenswürdige Inhalte, und kann es nach außen kommunizieren oder Zustand ändern?
3. Bau und Härtung. Modell auswählen, sichere Entwurfsmuster nutzen, prüfen, ob sich die drei kritischen Eigenschaften trennen lassen — etwa indem Recherche im Netz und Verarbeitung privater Daten in getrennten Sitzungen laufen, wobei sitzungsübergreifende Elemente wie ein Langzeitgedächtnis eigens zu betrachten sind. Danach Auswahl der Maßnahmen, mehrschichtig, und abschließend Test: Benchmarking und Red Teaming.
Die zehn Basismaßnahmen
Als Grundausstattung nennt die Checkliste zehn Maßnahmen mit Kürzeln, die sich im Katalog wiederfinden:3
| Kürzel | Maßnahme | Ansatzpunkt |
|---|---|---|
| AICTA | Schulung und Awareness zu KI-Sicherheit, gestaffelt nach Rolle | Organisation |
| SSM | Sicherheitsbezogene System-Prompts | System-Prompt |
| RBP | Rollenbasiertes Prompting mit klar definierter Rolle | System-Prompt |
| HAG | Menschliche Freigabe kritischer Operationen | Ausgabe/Aktion |
| HEF | Filtern von Hypertext-Elementen (Links, URLs, eingebetteter Code) | Ein- und Ausgabe |
| CS | Entfernen unnötiger Inhalte: Metadaten, versteckter Text, Formatierung | Fremddaten |
| SIR | Redigieren sensibler Informationen wie personenbezogener Daten oder Schlüssel | Ausgabe |
| LR | Kennzeichnung generierter Daten und nachvollziehbare Begründung von Aktionen | Ausgabe |
| MAPM | Minimierung der Aktionsrechte, Ausführung im Sicherheitskontext des Nutzers | Werkzeuge |
| SP | Strukturierte Prompts mit Rollen-Metadaten | Schnittstelle |
Auffällig ist die Verteilung: Nur zwei der zehn Maßnahmen setzen am System-Prompt an, also dort, wo in der Praxis die meiste Energie landet. Der Schwerpunkt liegt auf der Bereinigung von Fremddaten und auf der Begrenzung dessen, was das System anschließend tun darf. → Least Privilege · Ausgabeprüfung · Eingabeprüfung
Der Vorbehalt, den das BSI selbst formuliert
Die Checkliste stellt ausdrücklich fest, dass es derzeit keine kugelsichere Einzellösung gegen Evasion Attacks gibt, keine Gewähr für Vollständigkeit oder Wirksamkeit übernommen wird und die Liste an den jeweiligen Anwendungskontext angepasst werden muss.3 Das deckt sich mit der Einschätzung von OWASP, wonach unklar ist, ob es fehlersichere Verhinderungsmethoden gibt.4 Die Handreichung ist damit kein Zertifizierungspfad, sondern eine geordnete Arbeitsgrundlage — und die erste dieser Art von einer deutschen Behörde. → Checkliste zur Absicherung · Tödliche Trias
Quellen
- BSI: BSI stellt Maßnahmen gegen Evasion Attacks auf große KI-Sprachmodelle vor, Meldung vom 10.11.2025. https://www.bsi.bund.de/DE/Service-Navi/Presse/Alle-Meldungen-News/Meldungen/Evasion-Attacks-LLM_251110.html ↩
- BSI: Evasion Attacks on LLMs — Countermeasures in Practice, Version 1.0 vom 06.11.2025 (PDF). https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Evasion_Attacks_on_LLMs-Countermeasures.pdf ↩
- BSI: Evasion Attacks on LLMs — A Checklist for LLM System Hardening (PDF). https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Evasion_Attacks_on_LLMs-Checklist.pdf ↩
- OWASP GenAI Security Project: LLM01:2025 Prompt Injection. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ ↩