Estratégias de chunking para PDF: página vs parágrafo vs heading

Chunkar um PDF parece simples até você tentar. Dividir por página? Algumas páginas são quase só espaço em branco. Por parágrafo? Alguns parágrafos são uma frase. Por heading? Vários PDFs não têm estrutura de títulos clara.

Cada estratégia tem tradeoffs. A escolha certa depende de como o documento realmente é e de como o sistema de recuperação usa os chunks.

Chunking por página

A abordagem mais simples: cada página vira um chunk (ou se junta ao anterior se ficar abaixo do orçamento de tokens).

Funciona bem para: apresentações, formulários padronizados, documentos onde cada página cobre um tópico distinto.

Falha quando: um argumento ou explicação atravessa várias páginas. O corte cai num lugar arbitrário.

Chunking por parágrafo

Divide em quebras de linha dupla. Cada parágrafo (ou grupo de parágrafos curtos até o orçamento de tokens) vira um chunk.

Funciona bem para: documentos narrativos, atas, conteúdo em formato blog.

Falha quando: o documento usa bullets curtos. Você acaba com centenas de chunks minúsculos sem contexto individual.

Chunking por heading

Detecta limites de seção (títulos, headings numerados, linhas em maiúscula) e mantém cada seção como chunk, subdividindo só se a seção passar do orçamento.

Funciona bem para: relatórios estruturados, políticas, manuais técnicos.

Falha quando: o PDF é escaneado sem headings detectáveis, ou quando seções são longas demais.

Overlap: a ponte entre chunks

Independente da estratégia, overlap ajuda. Repetir os últimos 32 a 64 tokens do chunk N no início do N+1 garante que informação na fronteira não se perca. 10% do tamanho do chunk é um bom ponto de partida.

Framework de decisão

• Documento estruturado com seções claras? Comece com modo heading.
• Documento narrativo? Comece com modo parágrafo.
• Apresentação, formulário ou catálogo? Comece com modo página.
• Não tem certeza? Modo página primeiro. É o default mais seguro.

Testando seus chunks

Depois de dividir, leia os 5 a 10 primeiros chunks manualmente. Se vários chunks não fazem sentido sozinhos, tente um orçamento maior ou mude o modo.

O Chunker de PDF deixa trocar modos e orçamentos sem precisar recarregar o arquivo. Combine com o Contador de Tokens para visão completa do documento.