Teilen Sie Ihr PDF in token-budgetierte Chunks für Embeddings, Vektordatenbanken und Retrieval-Pipelines. Kein Upload.
Retrieval-Augmented Generation (RAG) funktioniert am besten, wenn Dokumente in fokussierte, token-budgetierte Chunks aufgeteilt werden. Jeder Chunk sollte klein genug für einen Embedding-Aufruf sein, aber groß genug, um sinnvollen Kontext zu tragen.
Dieses Werkzeug extrahiert Text aus Ihrer PDF, teilt ihn in Chunks nach Seiten, Absätzen oder Überschriften, zählt die Tokens pro Chunk und exportiert das Ergebnis als JSONL oder Markdown für Ihre Vektordatenbank.
Ihr PDF-Inhalt bleibt auf Ihrem Gerät. Kein Text oder Chunk wird irgendwohin gesendet.
Für die meisten Embedding-Modelle (OpenAI text-embedding-3, Cohere embed-v3) sind 512 Tokens ein guter Standard. Bei größerem Retrieval-Kontextfenster können 1024 oder 2048 funktionieren.
Überlappung wiederholt die letzten N Tokens jedes Chunks am Anfang des nächsten. Das hilft, wenn relevante Informationen Chunk-Grenzen überschreiten. 32 bis 64 Tokens sind typisch.
Seitenmodus ist am einfachsten. Absatzmodus gibt feinere Aufteilungen. Überschriftmodus versucht Abschnitte zusammenzuhalten, gut für strukturierte Berichte.