장문맥 대규모 언어 모델을 위한 자기 주도적 테스트 시간 훈련

초록

긴 컨텍스트 처리는 대형 언어 모델(LLM)에 있어 점점 더 중요해지고 있지만, 단순히 컨텍스트 윈도우를 확장한다고 해서 긴 입력을 효과적으로 활용할 수 있는 것은 아니다. 입력 길이가 증가함에 따라 정확도가 종종 저하되는데, 이는 모델이 질문에 가장 관련성이 높은 증거를 식별하고 활용하는 데 여전히 어려움을 겪고 있음을 시사한다. 긴 컨텍스트 활용을 개선하는 유망한 방법 중 하나는 테스트 시점 학습(TTT)으로, 테스트 컨텍스트를 인스턴스별 파라미터 적응을 위한 훈련 예제로 취급한다. 그러나 전체 긴 컨텍스트에 TTT를 적용하는 것은 비용이 지나치게 많이 들고, 무작위로 샘플링된 구간에 적응하면 심각한 노이즈가 발생한다. 긴 컨텍스트의 대부분 구간은 특정 질문과 무관하기 때문에, 이에 대해 훈련하면 오히려 기본 모델의 성능이 저하될 수 있다. 예비 연구 결과, TTT는 훈련 구간의 품질에 매우 민감하다는 것을 확인했다. LongBench-v2에서 무작위로 샘플링된 구간에 TTT를 적용하면 성능이 하락하는 반면, 오라클 구간에 TTT를 적용하면 성능이 크게 향상된다. 이러한 동기에 기반하여, 우리는 간단한 방법인 자기 유도 TTT(S-TTT)를 제안한다. 적응 전에 모델이 학습해야 할 증거 구간을 스스로 식별하고, 선택된 구간에만 표준 언어 모델링 학습 목표를 적용하는 방식이다. 두 가지 까다로운 긴 컨텍스트 추론 벤치마크인 LongBench-v2와 LongBench-Pro에서 S-TTT는 Qwen3-4B-Thinking-2507과 Llama-3.1-8B-Instruct 모두의 정확도를 향상시켰으며, 최대 15%의 상대적 개선을 달성했다.

English

Long-context processing has become increasingly important for large language models (LLMs), but simply extending the context window does not guarantee effective utilization of long inputs. As input length grows, accuracy often degrades, indicating that models still struggle to identify and use the evidence most relevant to a question. A promising way to improve long-context utilization is test-time training (TTT), which treats the test context as a training example for instance-specific parameter adaptation. However, applying TTT to the entire long context is prohibitively expensive, while adapting on randomly sampled spans introduces severe noise. Because most spans in a long context are irrelevant to the specific question, training on them may even degrade the base model's performance. Our preliminary study shows that TTT is highly sensitive to training-span quality: on LongBench-v2, TTT on randomly sampled spans hurts performance, whereas TTT on oracle spans substantially improves it. Motivated by this, we propose a simple method, Self-Guided TTT (S-TTT): before adaptation, the model identifies the evidence spans it should learn from, and the standard language-modeling training objective is applied only to those selected spans. On two challenging long-context reasoning benchmarks, LongBench-v2 and LongBench-Pro, S-TTT improves accuracy for both Qwen3-4B-Thinking-2507 and Llama-3.1-8B-Instruct, achieving up to a 15% relative improvement.