So bereiten Sie eine PDF für RAG vor, ohne Kontext zu verlieren
Ein Schritt-für-Schritt-Ablauf zum Bereinigen, Konvertieren, Messen und Aufteilen einer PDF vor der Übergabe an eine Retrieval-Pipeline.
Sie haben ein 90-seitiges Betriebshandbuch und müssen es in eine RAG-Pipeline einspeisen. Der naive Ansatz ist, alles hineinzuwerfen und zu hoffen, dass das Retrieval es schon richtet. Was tatsächlich passiert: Chunks werden mitten im Satz abgeschnitten, Tabellen verlieren ihre Überschriften, und das Retrieval liefert Fragmente, die das Modell mehr verwirren als helfen.
Eine PDF für RAG vorzubereiten bedeutet nicht einfach konvertieren. Es bedeutet, die Dokumentstruktur zu bewahren, die dem Text Bedeutung gibt.
Warum rohe Extraktion Kontext zerstört
PDF ist ein visuelles Format. Der Text wird als positionierte Fragmente gespeichert, nicht als logischer Fluss. Kopf- und Fußzeilen, Seitenzahlen und mehrspaltiges Layout werden bei einfacher Extraktion durcheinandergeworfen.
Praktischer Vorbereitungsablauf
- Metadaten und versteckte Inhalte zuerst entfernen. Autorennamen, JavaScript, eingebettete Anhänge und Annotationen erzeugen Rauschen.
- In Markdown konvertieren. Eine strukturierte Extraktion bewahrt Überschriften, Listen und Absatzgrenzen besser als Klartext.
- Tokens zählen für die Chunk-Strategie. Passt das gesamte Dokument ins Embedding-Limit, brauchen Sie vielleicht gar kein Chunking.
- Chunking mit Überlappung. An natürlichen Grenzen teilen und 32 bis 64 Tokens Überlappung hinzufügen.
Werkzeuge für jeden Schritt
- Versteckten Inhalt entfernen und Metadaten entfernen zur Bereinigung.
- PDF zu Markdown für strukturierte Extraktion mit OCR.
- Token Counter zum Messen vor dem Aufteilen.
- PDF-Chunker für RAG zum Aufteilen in Segmente mit Überlappung.