Chunking
Auch: Chunks · Textsegmentierung
Das Zerlegen von Dokumenten in kleinere Abschnitte, damit sie für RAG durchsucht werden können.
Lange Dokumente werden in „Chunks“ von einigen Absätzen aufgeteilt, die einzeln als Embedding gespeichert werden. Sind die Abschnitte zu klein, fehlt der Zusammenhang; sind sie zu gross, wird die Suche ungenau.
Gutes Chunking orientiert sich an der Struktur: Überschriften, Kapitel, Tabellen. Es ist einer der unterschätzten Hebel für die Qualität von RAG-Systemen.
Allgemeine Information, keine Rechts- oder Fachberatung.