Chunking
Chunking zerlegt Dokumente in Abschnitte, die einzeln indexiert und abgerufen werden. Rechteprüfungen müssen auf dieser Ebene greifen, sonst gelangen Passagen in den Kontext, auf die der Nutzer keinen Zugriff hätte.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind RAG (Retrieval-Augmented Generation), Vektordatenbank, Least Privilege.
Bezug zu Prompt Injection
Die Chunk-Grenze ist eine Sicherheitsgrenze: Beim Zerlegen verliert der einzelne Abschnitt seinen Zusammenhang — auch den Hinweis, dass er aus einer nicht vertrauenswürdigen Quelle stammt. Herkunfts- und Rechteangaben müssen deshalb als Metadatum an jedem Chunk hängen und beim Zusammensetzen des Prompts erhalten bleiben. Sehr große Chunks erhöhen zusätzlich die Wahrscheinlichkeit, dass eine versteckte Anweisung zusammen mit einem legitimen Treffer in den Kontext rutscht.
Beispiel
Ein Abschnitt aus einem vertraulichen Anhang wird ohne Rechtemetadatum indexiert und deshalb an einen Nutzer ausgeliefert, der das Ursprungsdokument nicht öffnen dürfte.
Verwandte Begriffe
- RAG (Retrieval-Augmented Generation) — RAG erweitert ein Sprachmodell um eine Suchkomponente, die zur Anfrage passende Dokumente abruft und in den Kontext stellt…
- Vektordatenbank — Eine Vektordatenbank speichert Texte als numerische Einbettungen und findet inhaltlich ähnliche Passagen über Abstandsmaße. Ohne…
- Least Privilege — Least Privilege bedeutet, jeder Komponente nur die minimal nötigen Rechte zu geben. Für KI-Agenten ist es die wirksamste…