Divida seu PDF em chunks com orçamento de tokens prontos para embeddings, bancos de vetores e pipelines de recuperação. Sem upload.
Geração aumentada por recuperação (RAG) funciona melhor quando documentos são divididos em chunks focados e com orçamento de tokens. Cada chunk precisa ser pequeno o bastante para caber numa chamada de embedding, mas grande o bastante para carregar contexto relevante.
Essa ferramenta extrai texto do seu PDF, divide em chunks por página, parágrafo ou headings, conta tokens de cada chunk e exporta como JSONL ou Markdown pronto para seu banco de vetores.
O conteúdo do PDF fica no seu dispositivo. Nenhum texto ou chunk é enviado para lugar nenhum.
Para a maioria dos modelos de embedding (OpenAI text-embedding-3, Cohere embed-v3), 512 tokens é um bom padrão. Se a janela de contexto da recuperação for maior, 1024 ou 2048 podem funcionar.
Overlap repete os últimos N tokens de cada chunk no início do próximo. Ajuda quando informação relevante cruza limites de chunk. 32 a 64 tokens é típico.
Modo por página é o mais simples. Parágrafo dá splits mais finos. Heading tenta manter seções juntas, bom para relatórios estruturados.