Selbstgesteuertes Testzeit-Training für Langkontext-LLMs

Zusammenfassung

Die Verarbeitung langer Kontexte wird für große Sprachmodelle (LLMs) zunehmend wichtiger, aber eine bloße Erweiterung des Kontextfensters garantiert keine effektive Nutzung langer Eingaben. Mit zunehmender Eingabelänge sinkt oft die Genauigkeit, was darauf hindeutet, dass Modelle weiterhin Schwierigkeiten haben, die für eine Frage relevantesten Belege zu identifizieren und zu nutzen. Ein vielversprechender Weg zur Verbesserung der Nutzung langer Kontexte ist das Testzeit-Training (TTT), das den Testkontext als Trainingsbeispiel für eine instanzspezifische Parameteranpassung behandelt. Allerdings ist die Anwendung von TTT auf den gesamten langen Kontext unerschwinglich teuer, während die Anpassung an zufällig ausgewählte Textabschnitte erhebliches Rauschen verursacht. Da die meisten Textabschnitte in einem langen Kontext für die spezifische Frage irrelevant sind, kann das Training auf ihnen die Leistung des Basismodells sogar verschlechtern. Unsere vorläufige Studie zeigt, dass TTT sehr empfindlich auf die Qualität der Trainingsabschnitte reagiert: In LongBench-v2 beeinträchtigt TTT auf zufällig ausgewählten Abschnitten die Leistung, während TTT auf optimalen Abschnitten sie erheblich verbessert. Motiviert davon schlagen wir eine einfache Methode vor, das selbstgeführte TTT (S-TTT): Vor der Anpassung identifiziert das Modell die Evidenzabschnitte, von denen es lernen sollte, und das standardmäßige Sprachmodell-Trainingsziel wird nur auf diese ausgewählten Abschnitte angewendet. In zwei anspruchsvollen Benchmarks für das Denken mit langen Kontexten, LongBench-v2 und LongBench-Pro, verbessert S-TTT die Genauigkeit sowohl für Qwen3-4B-Thinking-2507 als auch für Llama-3.1-8B-Instruct und erzielt eine relative Verbesserung von bis zu 15 %.

English

Long-context processing has become increasingly important for large language models (LLMs), but simply extending the context window does not guarantee effective utilization of long inputs. As input length grows, accuracy often degrades, indicating that models still struggle to identify and use the evidence most relevant to a question. A promising way to improve long-context utilization is test-time training (TTT), which treats the test context as a training example for instance-specific parameter adaptation. However, applying TTT to the entire long context is prohibitively expensive, while adapting on randomly sampled spans introduces severe noise. Because most spans in a long context are irrelevant to the specific question, training on them may even degrade the base model's performance. Our preliminary study shows that TTT is highly sensitive to training-span quality: on LongBench-v2, TTT on randomly sampled spans hurts performance, whereas TTT on oracle spans substantially improves it. Motivated by this, we propose a simple method, Self-Guided TTT (S-TTT): before adaptation, the model identifies the evidence spans it should learn from, and the standard language-modeling training objective is applied only to those selected spans. On two challenging long-context reasoning benchmarks, LongBench-v2 and LongBench-Pro, S-TTT improves accuracy for both Qwen3-4B-Thinking-2507 and Llama-3.1-8B-Instruct, achieving up to a 15% relative improvement.