LongAct: 장기 문맥 강화 학습을 위한 내재적 활성화 패턴 활용

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

April 16, 2026

저자: Bowen Ping, Zijun Chen, Tingfeng Hui, Qize Yu, Chenxuan Li, Junchi Yan, Baobao Chang

cs.AI

초록

강화학습(Reinforcement Learning, RL)은 대규모 언어 모델(Large Language Models, LLMs)의 추론 능력 향상을 위한 핵심 동인으로 부상했습니다. 최근의 연구 발전은 주로 보상 설계나 데이터 합성에 집중해 왔으나, 모델의 내재적 표현 특성을 훈련 과정에 활용한 연구는 드뭅니다. 본 논문에서는 먼저 긴 문맥을 처리할 때 쿼리와 키 벡터 내에서 높은 크기의 활성화가 존재함을 관찰합니다. 모델 양자화(이러한 높은 크기 활성화의 중요성을 입증하는)로부터 영감을 얻고, 긴 문맥 추론이 본질적으로 희소 구조를 보인다는 통찰에 기반하여, 이러한 가중치가 효과적인 모델 최적화의 핵심 동인 역할을 할 것이라고 가정합니다. 이러한 통찰을 바탕으로, 우리는 균일한 업데이트에서 중요도 기반 희소 업데이트로 전환하는 LongAct 전략을 제안합니다. 이러한 중요한 활성화와 연관된 가중치만 선택적으로 업데이트함으로써, LongAct는 LongBench v2에서 약 8%의 성능 향상을 달성하고 RULER 벤치마크에서 일반화 성능을 향상시킵니다. 더 나아가, 우리의 방법은 GRPO와 DAPO와 같은 다양한 RL 알고리즘에서 일관되게 성능을 향상시키며 놀라운 보편성을 보여줍니다. 폭넓은 ablation 연구는 이러한 중요한 특징에 집중하는 것이 긴 문맥 잠재력을 해제하는 열쇠임을 시사합니다.

English

Reinforcement Learning (RL) has emerged as a critical driver for enhancing the reasoning capabilities of Large Language Models (LLMs). While recent advancements have focused on reward engineering or data synthesis, few studies exploit the model's intrinsic representation characteristics to guide the training process. In this paper, we first observe the presence of high-magnitude activations within the query and key vectors when processing long contexts. Drawing inspiration from model quantization -- which establishes the criticality of such high-magnitude activations -- and the insight that long-context reasoning inherently exhibits a sparse structure, we hypothesize that these weights serve as the pivotal drivers for effective model optimization. Based on this insight, we propose LongAct, a strategy that shifts from uniform to saliency-guided sparse updates. By selectively updating only the weights associated with these significant activations, LongAct achieves an approximate 8% improvement on LongBench v2 and enhances generalization on the RULER benchmark. Furthermore, our method exhibits remarkable universality, consistently boosting performance across diverse RL algorithms such as GRPO and DAPO. Extensive ablation studies suggest that focusing on these salient features is key to unlocking long-context potential.