QwenLong-L1: 강화 학습을 통한 장문맥 대규모 추론 모델 구축

QwenLong-L1: Towards Long-Context Large Reasoning Models with Reinforcement Learning

May 23, 2025

저자: Fanqi Wan, Weizhou Shen, Shengyi Liao, Yingcheng Shi, Chenliang Li, Ziyi Yang, Ji Zhang, Fei Huang, Jingren Zhou, Ming Yan

cs.AI

초록

최근의 대규모 추론 모델(LRMs)은 강화 학습(RL)을 통해 강력한 추론 능력을 보여주고 있습니다. 이러한 개선은 주로 짧은 문맥의 추론 작업에서 관찰되었습니다. 반면, RL을 통해 LRMs를 확장하여 긴 문맥 입력을 효과적으로 처리하고 추론하는 것은 여전히 중요한 미해결 과제로 남아 있습니다. 이러한 격차를 해소하기 위해, 우리는 먼저 긴 문맥 추론 RL의 패러다임을 공식화하고, 최적화되지 않은 훈련 효율성과 불안정한 최적화 과정에서의 주요 문제점을 식별합니다. 이러한 문제를 해결하기 위해, 우리는 점진적인 문맥 확장을 통해 짧은 문맥 LRMs를 긴 문맥 시나리오에 적응시키는 QwenLong-L1 프레임워크를 제안합니다. 구체적으로, 우리는 견고한 초기 정책을 수립하기 위해 워밍업 지도 미세 조정(SFT) 단계를 활용하고, 정책 진화를 안정화하기 위해 커리큘럼 기반 단계적 RL 기술을 적용하며, 정책 탐색을 촉진하기 위해 난이도 인식 회고 샘플링 전략을 강화합니다. 7개의 긴 문맥 문서 질문-응답 벤치마크에서의 실험은 QwenLong-L1-32B가 OpenAI-o3-mini 및 Qwen3-235B-A22B와 같은 주요 LRMs를 능가하며, Claude-3.7-Sonnet-Thinking과 동등한 성능을 달성함으로써 최첨단 LRMs 중에서 선두적인 성능을 보여줍니다. 이 작업은 정보 집약적인 환경에서 견고한 추론이 가능한 실용적인 긴 문맥 LRMs의 개발을 진전시킵니다.

English

Recent large reasoning models (LRMs) have demonstrated strong reasoning capabilities through reinforcement learning (RL). These improvements have primarily been observed within the short-context reasoning tasks. In contrast, extending LRMs to effectively process and reason on long-context inputs via RL remains a critical unsolved challenge. To bridge this gap, we first formalize the paradigm of long-context reasoning RL, and identify key challenges in suboptimal training efficiency and unstable optimization process. To address these issues, we propose QwenLong-L1, a framework that adapts short-context LRMs to long-context scenarios via progressive context scaling. Specifically, we utilize a warm-up supervised fine-tuning (SFT) stage to establish a robust initial policy, followed by a curriculum-guided phased RL technique to stabilize the policy evolution, and enhanced with a difficulty-aware retrospective sampling strategy to incentivize the policy exploration. Experiments on seven long-context document question-answering benchmarks demonstrate that QwenLong-L1-32B outperforms flagship LRMs like OpenAI-o3-mini and Qwen3-235B-A22B, achieving performance on par with Claude-3.7-Sonnet-Thinking, demonstrating leading performance among state-of-the-art LRMs. This work advances the development of practical long-context LRMs capable of robust reasoning across information-intensive environments.