Como planejar tokens para uma conversa longa sobre PDF com IA

Um PDF pode caber num chat de IA no começo da conversa e ficar incômodo dez perguntas depois. O documento não cresceu. A conversa cresceu.

Cada continuação adiciona instruções, respostas do modelo, trechos citados, resultados de ferramentas e, em alguns casos, uma cópia repetida do contexto do documento. Por isso, contagem de tokens não serve apenas para conferir tamanho de arquivo. Ela é um orçamento para o trabalho que vem depois da primeira pergunta.

Deixe espaço para a conversa

A janela de contexto é um espaço compartilhado. Se o modelo comporta 128 mil tokens, mandar um PDF de 120 mil deixa pouco espaço para instruções ou uma resposta útil. Mesmo um arquivo menor pode apertar a conversa quando você pede citações, comparações ou várias perguntas seguidas.

Comece pelo Contador de Tokens de PDF e trate o resultado como a primeira linha de um orçamento. Depois reserve capacidade para o tipo de sessão que você quer: um resumo curto pede bem menos espaço que uma revisão de contrato em várias idas e voltas.

Observe o que se repete

Alguns chats guardam a conversa completa automaticamente. Em certos fluxos de API, o documento ou um chunk volta a ser enviado em cada pedido. Nos dois casos, a repetição é onde o uso de tokens fica caro e o contexto começa a apertar.

Mantenha instruções fixas curtas. Peça páginas de referência em vez de colar o mesmo trecho em toda mensagem. Quando mudar de assunto, abra uma conversa nova só com as páginas necessárias. São hábitos pequenos que evitam que uma revisão de PDF vire um contexto longo e nebuloso.

Escolha uma unidade de trabalho

Não envie um manual inteiro e faça toda pergunta que surgir. Divida o trabalho: explique uma política, compare duas cláusulas, extraia prazos ou confira os números de uma tabela. A pergunta determina quais páginas merecem acompanhar o pedido.

Para trabalho repetido, divida a fonte por título ou parágrafo e busque apenas os trechos relevantes. O Chunker de PDF prepara chunks locais com limite e sobreposição de tokens. Muitas vezes isso é mais útil que tentar fazer um prompt gigante sobreviver a uma tarde inteira.

Saiba a hora de recomeçar

Se as respostas começam a perder referências de página, repetir fatos antigos ou ficar vagas sobre algo já discutido, a conversa talvez esteja carregando coisa demais. Salve a conclusão útil, abra um chat novo e leve um resumo curto mais as páginas de origem relevantes.

Recomeçar não é perder contexto. É escolher qual contexto merece continuar.