Divida su PDF en chunks con presupuesto de tokens listos para embeddings, bases de vectores y pipelines de recuperación. Sin subida.
La generación aumentada por recuperación (RAG) funciona mejor cuando los documentos se dividen en chunks enfocados con presupuesto de tokens. Cada chunk debe ser lo bastante pequeño para caber en una llamada de embedding, pero lo bastante grande para llevar contexto relevante.
Esta herramienta extrae texto de su PDF, lo divide en chunks por página, párrafo o encabezados, cuenta tokens de cada chunk y exporta como JSONL o Markdown listo para su base de vectores.
El contenido del PDF queda en su dispositivo. Ningún texto o chunk se envía a ningún lado.
Para la mayoría de modelos de embedding (OpenAI text-embedding-3, Cohere embed-v3), 512 tokens es un buen valor. Si la ventana de contexto de recuperación es mayor, 1024 o 2048 pueden funcionar.
El solapamiento repite los últimos N tokens de cada chunk al inicio del siguiente. Ayuda cuando la información relevante cruza límites de chunk. 32 a 64 tokens es típico.
Modo por página es el más simple. Párrafo da divisiones más finas. Encabezado intenta mantener secciones juntas, útil para informes estructurados.