매개변수가 아닌 지평 확장: 35B 에이전트로 조 단위 매개변수 성능 달성
Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent
June 29, 2026
저자: Lei Bai, Zongsheng Cao, Yang Chen, Zhiyao Cui, Shangheng Du, Yue Fan, Shiyang Feng, Zijie Guo, Haonan He, Liang He, Xiaohan He, Shuyue Hu, Yusong Hu, Songtao Huang, Yichen Jiang, Hao Li, Xin Li, Dahua Lin, Weihao Lin, Fenghua Ling, Dongrui Liu, Zhuo Liu, Runmin Ma, Chunjiang Mu, Haoyang Peng, Tianshuo Peng, Jinxin Shi, Luohe Shi, Boyuan Sun, Zelin Tan, Shengji Tang, Qianyi Wang, Yiming Wu, Yi Xie, Xiangchao Yan, Jingqi Ye, Peng Ye, Fangchen Yu, Jiakang Yuan, Bihao Zhan, Bo Zhang, Chen Zhang, Shufei Zhang, Shuaiyu Zhang, Wenlong Zhang, Yiqun Zhang, Junpeng Zhao, Zhijie Zhong, Bowen Zhou, Yuhao Zhou
cs.AI
초록
저희는 에이전트 수평선 확장을 통해 조 단위 매개변수 수준의 성능에 도달하는 35B 혼합 전문가 에이전틱 모델, Agents-A1을 소개합니다. 에이전트 수평선 확장을 장기 궤적 확장과 이기종 에이전트 능력 확장이라는 두 가지 관점에서 연구합니다. 이를 지원하기 위해 외부 지식, 행동, 관찰 및 검증 결과를 연결하여 평균 길이 45K 토큰의 에이전트 궤적을 생성하는 장기 수평선 지식-행동 인프라를 구축합니다. 이를 바탕으로 3단계 방법론을 사용하여 Agents-A1을 훈련합니다. 첫째, 전체 도메인 지도 미세 조정을 수행하여 기본 모델을 광범위한 에이전트 행동에 정렬합니다. 둘째, 각 도메인의 전문 지식을 포착하기 위해 도메인 수준 교사 모델을 훈련합니다. 셋째, 주요 어휘 정렬을 통한 다중 교사 도메인 라우팅 기반 온-정책 증류를 제안하여 서로 다른 도메인 간의 지식 전이 효율성을 개선하고, 여섯 개의 이기종 도메인을 하나의 배포 가능한 학생 모델로 통합합니다. Agents-A1은 장기 수평선 에이전트 벤치마크에서 강력하고 광범위한 성능을 달성합니다. Kimi-K2.6 및 DeepSeek-V4-pro와 같은 1조 매개변수 모델과 비교하여 Agents-A1은 SEAL-0(56.4), IFBench(80.6), HiPhO(46.4), FrontierScience-Olympiad(79.0) 및 MolBench-Bind(56.8)에서 선도적인 결과를 보여주며, SciCode(44.3), HLE(47.6) 및 BrowseComp(75.5)에서도 높은 경쟁력을 유지합니다. 본 연구가 35B 에이전트를 사용하여 장기 수평선 작업에서 1T 모델의 성능에 도달하거나 일치시킬 수 있는 실용적인 경로를 커뮤니티에 제공할 수 있기를 바랍니다.
English
We introduce Agents-A1, a 35B Mixture-of-Experts Agentic Model that reaches trillion-parameter-level performance by scaling the agent horizon. We investigate agent-horizon scaling from two perspectives: scaling long-horizon trajectories and scaling heterogeneous agent abilities. To support this goal, we build a long-horizon knowledge-action infrastructure that connects external knowledge, actions, observations, and verifier outcomes, producing agentic trajectories with an average length of 45K tokens. Based on this, we train Agents-A1 with a three-stage recipe. First, we perform full-domain supervised fine-tuning to align the base model with broad agentic behaviors. Second, we train domain-level teacher models to capture specialized expertise in each domain. Third, we propose a multi-teacher domain-routed on-policy distillation with salient vocabulary alignment to improve knowledge transfer efficiency across different domains, unifying six heterogeneous domains into one deployable student model. Agents-A1 achieves strong and broad performance for long-horizon agent benchmarks. Compared with 1T-parameter model such as Kimi-K2.6 and DeepSeek-V4-pro, Agents-A1 achieves leading results on SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), and MolBench-Bind (56.8), and remains highly competitive on SciCode (44.3), HLE (47.6) and BrowseComp (75.5). We hope this work provides the community with a practical path for scaling the horizon using a 35B agent that can reach or match the performance of 1T models on long-horizon tasks.