Como preparar um PDF para RAG sem perder contexto
Um fluxo passo a passo para limpar, converter, medir e chunkar um PDF antes de alimentar um pipeline de recuperação.
Você tem um manual de operações de 90 páginas e precisa colocar num pipeline de RAG. A abordagem ingênua é jogar tudo e esperar que a recuperação resolva. O que acontece de verdade: chunks cortam no meio da frase, tabelas perdem cabeçalho, e a etapa de retrieval devolve fragmentos que confundem o modelo mais do que ajudam.
Preparar um PDF para RAG não é só converter. É preservar a estrutura que dá sentido ao texto.
Por que extração bruta quebra contexto
PDF é um formato visual. A estrutura interna guarda texto como fragmentos posicionados, não como fluxo lógico. Cabeçalhos, rodapés, números de página e layouts multicoluna acabam misturados na extração simples.
Para RAG, esse ruído faz duas coisas: infla tokens sem adicionar informação e polui limites de chunk, fazendo a recuperação devolver segmentos parciais ou enganosos.
Fluxo prático de preparação
A sequência que funciona melhor para a maioria dos documentos corporativos:
- Limpe metadados e conteúdo oculto antes. Nomes de autor, JavaScript, anexos embutidos e anotações adicionam ruído e podem vazar para seus chunks.
- Converta para Markdown. Uma extração estruturada preserva headings, listas e limites de parágrafo melhor que texto puro. Se tiver páginas escaneadas, use OCR nessa etapa.
- Conte tokens para escolher estratégia de chunk. Se o documento inteiro cabe no limite do seu modelo de embedding, talvez nem precise chunkar.
- Chunk com overlap. Divida por limites naturais e adicione 32 a 64 tokens de overlap para não perder informação que cruza fronteiras.
O que preservar, o que descartar
Manter: títulos de seção, estrutura de listas, conteúdo de tabelas e identificadores de referência (números de seção, IDs de cláusula).
Descartar: números de página, cabeçalhos/rodapés repetidos, texto de marca d'água e separadores decorativos.
Ferramentas para cada etapa
Se quiser rodar o pipeline inteiro localmente sem upload:
- Remover Conteúdo Oculto e Remover Metadados para limpeza.
- PDF para Markdown para extração estruturada com OCR.
- Contador de Tokens para medir antes de chunkar.
- Chunker de PDF para RAG para dividir em segmentos com overlap.
Tudo roda no navegador. O documento fica na sua máquina durante todo o pipeline.