Multimodales Modell
Ein multimodales Modell verarbeitet neben Text auch Bilder, Audio oder Video. Jede zusätzliche Modalität ist ein weiterer Kanal, über den Anweisungen unbemerkt in den Kontext gelangen können.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Prompt Injection, Obfuskation, KI-Agent.
Bezug zu Prompt Injection
Bild- und Audiokanäle unterlaufen textbasierte Filter vollständig: Ein Eingabefilter, der nur Text prüft, sieht die Anweisung in einem Bild nicht. Dokumentiert sind Anweisungen in Bildinhalten, in Metadaten und in für Menschen kaum wahrnehmbaren Bildbereichen. Wer multimodale Eingaben zulässt, braucht Prüfschritte je Modalität — oder muss die Rechte des Modells entsprechend enger fassen. Zu beachten ist auch die Ausgabeseite: Erzeugte Bilder und Audiodateien können ihrerseits Inhalte transportieren, die nachgelagerte Systeme wieder als Eingabe lesen.
Beispiel
Ein hochgeladenes Bild enthält in kontrastarmer Schrift eine Anweisung, die das Modell beim Auslesen des Bildtextes befolgt.
Verwandte Begriffe
- Prompt Injection — Prompt Injection bezeichnet einen Angriff, bei dem eingeschleuster Text das Verhalten eines Sprachmodells entgegen der Absicht…
- Obfuskation — Obfuskation verschleiert einen Angriffs-Payload so, dass Filter ihn nicht erkennen, das Modell ihn aber weiterhin versteht…
- KI-Agent — Ein KI-Agent ist ein System, das ein Sprachmodell mit Werkzeugen und einer Handlungsschleife verbindet, um Aufgaben eigenständig…
Quellen
- Multimodales Modell — Beleg: https://arxiv.org/abs/2307.10490