長文脈LLMのための自己誘導型テスト時訓練

要旨

長文脈処理は大規模言語モデル（LLM）にとってますます重要になっているが、単にコンテキストウィンドウを拡張するだけでは長い入力を効果的に活用できるとは限らない。入力長が増大するにつれて精度は低下することが多く、モデルが質問に最も関連する証拠を特定し活用することに依然として困難を抱えていることを示している。長文脈活用を改善する有望な方法としてテスト時訓練（TTT）がある。これはテストコンテキストをインスタンス固有のパラメータ適応のための学習例として扱う手法である。しかし、長文脈全体にTTTを適用するにはコストが法外に高く、一方でランダムにサンプリングされたスパンに適応すると深刻なノイズが生じる。長文脈中のほとんどのスパンは特定の質問に無関係であるため、それらのスパンでの学習はベースモデルの性能を低下させることさえある。予備研究により、TTTは学習スパンの質に非常に敏感であることが明らかになった。LongBench-v2において、ランダムにサンプリングされたスパンでのTTTは性能を損なうが、オラクルスパンでのTTTは大幅に改善する。この知見に基づき、我々は単純な手法である自己誘導型TTT（S-TTT）を提案する。適応前に、モデルが学習すべき証拠スパンを特定し、選択されたスパンに対してのみ標準的な言語モデリング学習目的を適用する。2つの挑戦的な長文脈推論ベンチマーク、LongBench-v2とLongBench-Proにおいて、S-TTTはQwen3-4B-Thinking-2507とLlama-3.1-8B-Instructの両方で精度を向上させ、最大15%の相対的な改善を達成した。

English

Long-context processing has become increasingly important for large language models (LLMs), but simply extending the context window does not guarantee effective utilization of long inputs. As input length grows, accuracy often degrades, indicating that models still struggle to identify and use the evidence most relevant to a question. A promising way to improve long-context utilization is test-time training (TTT), which treats the test context as a training example for instance-specific parameter adaptation. However, applying TTT to the entire long context is prohibitively expensive, while adapting on randomly sampled spans introduces severe noise. Because most spans in a long context are irrelevant to the specific question, training on them may even degrade the base model's performance. Our preliminary study shows that TTT is highly sensitive to training-span quality: on LongBench-v2, TTT on randomly sampled spans hurts performance, whereas TTT on oracle spans substantially improves it. Motivated by this, we propose a simple method, Self-Guided TTT (S-TTT): before adaptation, the model identifies the evidence spans it should learn from, and the standard language-modeling training objective is applied only to those selected spans. On two challenging long-context reasoning benchmarks, LongBench-v2 and LongBench-Pro, S-TTT improves accuracy for both Qwen3-4B-Thinking-2507 and Llama-3.1-8B-Instruct, achieving up to a 15% relative improvement.