Estrategias de chunking para PDF: página vs párrafo vs encabezado
Página, párrafo o encabezado: qué modo de chunking funciona mejor para su PDF y pipeline de recuperación, con guía de solapamiento.
Dividir un PDF en chunks parece simple hasta que lo intenta. Por página? Algunas son casi solo espacio en blanco. Por párrafo? Algunos párrafos son una frase. Por encabezado? Muchos PDFs no tienen estructura de títulos clara.
Cada estrategia tiene compromisos. La decisión depende de cómo es su documento y cómo el sistema de recuperación usa los chunks.
Chunking por página
Lo más simple: cada página se convierte en un chunk.
Funciona bien para: presentaciones, formularios, catálogos con un tema por página.
Falla cuando: un argumento cruza varias páginas.
Chunking por párrafo
Divide en saltos de línea dobles.
Funciona bien para: documentos narrativos y actas.
Falla cuando: el documento usa bullets cortos.
Chunking por encabezado
Detecta límites de sección y mantiene cada sección como chunk.
Funciona bien para: informes estructurados y manuales.
Falla cuando: el PDF es escaneado sin encabezados detectables.
Solapamiento: el puente entre chunks
Repetir los últimos 32 a 64 tokens del chunk N al inicio del N+1 ayuda cuando la información cruza fronteras. 10% del tamaño del chunk es un buen valor inicial.
Framework de decisión
- Documento estructurado? Modo encabezado.
- Narrativa libre? Modo párrafo.
- Presentación o catálogo? Modo página.
- No está seguro? Página primero, es el default más seguro.
Pruebe sus chunks
El Chunker de PDF permite cambiar modos y presupuestos sin recargar. Combine con el Contador de Tokens para una visión completa.