パラメータではなく地平をスケーリングする：35Bエージェントで1兆パラメータ級の性能を達成
Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent
June 29, 2026
著者: Lei Bai, Zongsheng Cao, Yang Chen, Zhiyao Cui, Shangheng Du, Yue Fan, Shiyang Feng, Zijie Guo, Haonan He, Liang He, Xiaohan He, Shuyue Hu, Yusong Hu, Songtao Huang, Yichen Jiang, Hao Li, Xin Li, Dahua Lin, Weihao Lin, Fenghua Ling, Dongrui Liu, Zhuo Liu, Runmin Ma, Chunjiang Mu, Haoyang Peng, Tianshuo Peng, Jinxin Shi, Luohe Shi, Boyuan Sun, Zelin Tan, Shengji Tang, Qianyi Wang, Yiming Wu, Yi Xie, Xiangchao Yan, Jingqi Ye, Peng Ye, Fangchen Yu, Jiakang Yuan, Bihao Zhan, Bo Zhang, Chen Zhang, Shufei Zhang, Shuaiyu Zhang, Wenlong Zhang, Yiqun Zhang, Junpeng Zhao, Zhijie Zhong, Bowen Zhou, Yuhao Zhou
cs.AI
要旨
本稿では、**Agents-A1**—エージェントの行動範囲（agent horizon）を拡大することで、兆パラメータ級の性能を達成した35BパラメータのMixture-of-Experts型エージェントモデル—を紹介する。エージェント水平線の拡大（agent-horizon scaling）について、長期的な軌跡の拡大と、多様なエージェント能力の拡大という2つの観点から検討する。この目標を支援するため、外部知識、行動、観測、検証結果を接続する長期的な知識-行動インフラを構築し、平均トークン長45Kに及ぶエージェント軌跡を生成する。これを基に、3段階のレシピでAgents-A1を学習する。第1段階では、全領域における教師ありファインチューニング（full-domain supervised fine-tuning）を実施し、ベースモデルを広範なエージェント行動に適合させる。第2段階では、各領域の専門知識を取り込むためのドメインレベルの教師モデルを学習する。第3段階では、顕著な語彙アライメントを伴うマルチティーチャー・ドメインルーティング型オンポリシー蒸留（multi-teacher domain-routed on-policy distillation）を提案し、異なるドメイン間の知識転送効率を向上させ、6つの異種ドメインを1つのデプロイ可能な生徒モデルに統合する。Agents-A1は、長期的なエージェントベンチマークにおいて、強力かつ幅広い性能を達成する。1TパラメータモデルであるKimi-K2.6やDeepSeek-V4-proと比較して、Agents-A1はSEAL-0（56.4）、IFBench（80.6）、HiPhO（46.4）、FrontierScience-Olympiad（79.0）、MolBench-Bind（56.8）でリーダー的結果を示し、SciCode（44.3）、HLE（47.6）、BrowseComp（75.5）でも高い競争力を維持する。本稿が、35Bのエージェントを用いて水平線を拡大し、長期的なタスクにおいて1Tモデルと同等またはそれ以上の性能を達成するための実用的な道筋をコミュニティに提供することを期待する。
English
We introduce Agents-A1, a 35B Mixture-of-Experts Agentic Model that reaches trillion-parameter-level performance by scaling the agent horizon. We investigate agent-horizon scaling from two perspectives: scaling long-horizon trajectories and scaling heterogeneous agent abilities. To support this goal, we build a long-horizon knowledge-action infrastructure that connects external knowledge, actions, observations, and verifier outcomes, producing agentic trajectories with an average length of 45K tokens. Based on this, we train Agents-A1 with a three-stage recipe. First, we perform full-domain supervised fine-tuning to align the base model with broad agentic behaviors. Second, we train domain-level teacher models to capture specialized expertise in each domain. Third, we propose a multi-teacher domain-routed on-policy distillation with salient vocabulary alignment to improve knowledge transfer efficiency across different domains, unifying six heterogeneous domains into one deployable student model. Agents-A1 achieves strong and broad performance for long-horizon agent benchmarks. Compared with 1T-parameter model such as Kimi-K2.6 and DeepSeek-V4-pro, Agents-A1 achieves leading results on SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), and MolBench-Bind (56.8), and remains highly competitive on SciCode (44.3), HLE (47.6) and BrowseComp (75.5). We hope this work provides the community with a practical path for scaling the horizon using a 35B agent that can reach or match the performance of 1T models on long-horizon tasks.