Cómo preparar un PDF para RAG sin perder contexto
Un flujo paso a paso para limpiar, convertir, medir y dividir un PDF antes de alimentar un pipeline de recuperación.
Tiene un manual de operaciones de 90 páginas y necesita alimentar un pipeline de RAG. El enfoque ingenuo es volcarlo todo y esperar que la recuperación lo resuelva. Lo que pasa en realidad: los chunks se cortan a mitad de frase, las tablas pierden encabezados, y la recuperación devuelve fragmentos que confunden al modelo más de lo que ayudan.
Preparar un PDF para RAG no es convertir a lo bruto. Es preservar la estructura que le da sentido al texto.
Por qué la extracción cruda pierde contexto
PDF es un formato visual. El texto interno se almacena como fragmentos posicionados, no como flujo lógico. Encabezados, pies, números de página y columnas múltiples terminan mezclados en una extracción simple.
Para RAG, ese ruido infla tokens sin aportar información y contamina los límites de chunk.
Flujo práctico de preparación
- Limpie metadatos y contenido oculto primero. Nombres de autor, JavaScript, adjuntos incrustados y anotaciones agregan ruido y pueden filtrarse en los chunks.
- Convierta a Markdown. Una extracción estructurada preserva encabezados, listas y límites de párrafo mejor que texto plano.
- Cuente tokens para elegir estrategia de chunk. Si el documento completo cabe en el límite de su modelo de embedding, quizás no necesite dividir.
- Chunk con solapamiento. Divida por límites naturales y agregue 32 a 64 tokens de solapamiento.
Herramientas para cada paso
- Eliminar Contenido Oculto y Eliminar Metadatos para limpieza.
- PDF a Markdown para extracción estructurada con OCR.
- Contador de Tokens para medir antes de dividir.
- Chunker de PDF para RAG para dividir en segmentos con solapamiento.