Tokens für lange PDF-Gespräche mit KI planen

Ein PDF kann am Anfang einer KI-Unterhaltung passen und zehn Fragen später unhandlich werden. Das Dokument ist nicht gewachsen. Die Unterhaltung schon.

Jede Rückfrage fügt Anweisungen, Modellantworten, zitierte Passagen, Werkzeugergebnisse und manchmal eine wiederholte Kopie des Dokumentkontexts hinzu. Eine Tokenzahl ist deshalb nicht nur eine Dateigrößenprüfung. Sie ist ein Budget für die Arbeit nach der ersten Frage.

Lassen Sie Platz für die Unterhaltung

Ein Kontextfenster ist geteilter Raum. Hat ein Modell Platz für 128.000 Tokens, lässt ein PDF mit 120.000 Tokens kaum Raum für Anweisungen oder eine brauchbare Antwort. Auch eine kleinere Datei kann die Unterhaltung füllen, wenn Sie Zitate, Vergleiche oder viele Rückfragen benötigen.

Beginnen Sie mit dem PDF Token Counter und verstehen Sie das Ergebnis als erste Zeile eines Budgets. Reservieren Sie danach Kapazität für die gewünschte Sitzung: Eine kurze Zusammenfassung braucht deutlich weniger Raum als eine Vertragsprüfung mit vielen Rückfragen.

Achten Sie auf Wiederholungen

Manche Chats behalten den gesamten Verlauf automatisch. In einigen API-Abläufen werden Dokument oder Chunk bei jeder Anfrage erneut gesendet. In beiden Fällen wird Wiederholung teuer und der Kontext eng.

Halten Sie stabile Anweisungen kurz. Bitten Sie um Seitenverweise, statt dieselbe Passage in jede Nachricht zu kopieren. Wechseln Sie das Thema, beginnen Sie einen neuen Thread nur mit den nötigen Seiten. Diese kleinen Gewohnheiten verhindern, dass eine PDF-Prüfung zu einem langen, unscharfen Kontext wird.

Wählen Sie eine Arbeitseinheit

Laden Sie nicht ein ganzes Handbuch hoch und stellen dann jede aufkommende Frage. Teilen Sie die Arbeit auf: eine Richtlinie erklären, zwei Klauseln vergleichen, Fristen extrahieren oder Zahlen in einer Tabelle prüfen. Die Frage bestimmt, welche Seiten dazugehören.

Für wiederkehrende Arbeit teilen Sie die Quelle nach Überschrift oder Absatz und rufen nur relevante Teile ab. Der PDF Chunker erstellt lokale Chunks mit Tokenlimit und Überlappung. Das ist oft hilfreicher, als einen riesigen Prompt einen ganzen Nachmittag lang am Leben zu halten.

Wissen, wann ein Neustart sinnvoll ist

Wenn Antworten Seitenverweise verlieren, frühere Fakten wiederholen oder bei bereits besprochenem Material vage werden, trägt der Thread vielleicht zu viel. Speichern Sie die brauchbare Schlussfolgerung, beginnen Sie eine neue Unterhaltung und nehmen Sie eine kurze Zusammenfassung plus die relevanten Quellseiten mit.

Neu zu beginnen bedeutet nicht, Kontext zu verlieren. Es bedeutet zu entscheiden, welcher Kontext bleiben soll.