Chunking-Strategien für PDFs: Seite vs Absatz vs Überschrift
Seite, Absatz oder Überschrift: Welcher Chunking-Modus für Ihr PDF und Ihre Retrieval-Pipeline am besten funktioniert, mit Überlappungsrichtlinien.
Ein PDF in Chunks zu teilen klingt einfach, bis man es versucht. Nach Seite? Manche Seiten sind fast leer. Nach Absatz? Manche Absätze sind ein Satz. Nach Überschrift? Viele PDFs haben keine klare Überschriftenstruktur.
Jede Strategie hat Kompromisse. Die richtige Wahl hängt davon ab, wie Ihr Dokument tatsächlich aussieht und wie Ihr Retrieval-System die Chunks nutzt.
Chunking nach Seite
Am einfachsten: Jede Seite wird ein Chunk.
Funktioniert gut bei: Präsentationen, Formularen, Katalogen mit einem Thema pro Seite.
Versagt, wenn: ein Argument über mehrere Seiten geht.
Chunking nach Absatz
Teilt an doppelten Zeilenumbrüchen.
Funktioniert gut bei: Fließtext, Berichten, Protokollen.
Versagt, wenn: das Dokument kurze Stichpunkte verwendet.
Chunking nach Überschrift
Erkennt Abschnittsgrenzen und hält jeden Abschnitt als Chunk zusammen.
Funktioniert gut bei: strukturierten Berichten und Handbüchern.
Versagt, wenn: das PDF gescannt ist und keine erkennbaren Überschriften hat.
Überlappung: die Brücke zwischen Chunks
Die letzten 32 bis 64 Tokens des Chunk N am Anfang von N+1 wiederholen hilft bei Grenzinformationen. 10% der Chunk-Größe ist ein guter Startwert.
Entscheidungsrahmen
- Strukturiertes Dokument? Überschriftmodus.
- Freier Fließtext? Absatzmodus.
- Präsentation oder Katalog? Seitenmodus.
- Unsicher? Seitenmodus zuerst, der sicherste Standard.
Chunks testen
Der PDF-Chunker erlaubt Moduswechsel und Budget-Anpassungen ohne Neuladen. Kombinieren Sie ihn mit dem Token Counter für das volle Bild.