Mise à l'échelle de l'horizon, pas des paramètres : atteindre une performance de mille milliards de paramètres avec un agent de 35 milliards

Résumé

Nous présentons Agents-A1, un modèle agentique à mixture d’experts de 35 milliards de paramètres qui atteint des performances de niveau trillion de paramètres en passant à l’échelle l’horizon agent. Nous étudions le passage à l’échelle de l’horizon agent sous deux angles : la mise à l’échelle des trajectoires à long horizon et celle des capacités hétérogènes des agents. Pour soutenir cet objectif, nous construisons une infrastructure connaissance-action à long horizon qui relie connaissances externes, actions, observations et résultats des vérificateurs, produisant des trajectoires agentiques d’une longueur moyenne de 45 000 tokens. Sur cette base, nous entraînons Agents-A1 selon un processus en trois étapes. Premièrement, nous effectuons un fine-tuning supervisé tous domaines pour aligner le modèle de base sur des comportements agentiques larges. Deuxièmement, nous entraînons des modèles enseignants au niveau domaine afin de capturer une expertise spécialisée dans chaque domaine. Troisièmement, nous proposons une distillation sur politique routée par domaine multi-enseignant, avec alignement du vocabulaire saillant, pour améliorer l’efficacité du transfert de connaissances entre différents domaines, unifiant six domaines hétérogènes en un seul modèle étudiant déployable. Agents-A1 obtient des performances solides et étendues sur les benchmarks à long horizon. Comparé à des modèles à 1 trillion de paramètres comme Kimi-K2.6 et DeepSeek-V4-pro, Agents-A1 atteint des résultats de premier plan sur SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) et MolBench-Bind (56,8), tout en restant très compétitif sur SciCode (44,3), HLE (47,6) et BrowseComp (75,5). Nous espérons que ce travail offre à la communauté une voie pratique pour passer à l’échelle l’horizon à l’aide d’un agent de 35B capable d’atteindre ou d’égaler les performances de modèles de 1T sur des tâches à long horizon.

English

We introduce Agents-A1, a 35B Mixture-of-Experts Agentic Model that reaches trillion-parameter-level performance by scaling the agent horizon. We investigate agent-horizon scaling from two perspectives: scaling long-horizon trajectories and scaling heterogeneous agent abilities. To support this goal, we build a long-horizon knowledge-action infrastructure that connects external knowledge, actions, observations, and verifier outcomes, producing agentic trajectories with an average length of 45K tokens. Based on this, we train Agents-A1 with a three-stage recipe. First, we perform full-domain supervised fine-tuning to align the base model with broad agentic behaviors. Second, we train domain-level teacher models to capture specialized expertise in each domain. Third, we propose a multi-teacher domain-routed on-policy distillation with salient vocabulary alignment to improve knowledge transfer efficiency across different domains, unifying six heterogeneous domains into one deployable student model. Agents-A1 achieves strong and broad performance for long-horizon agent benchmarks. Compared with 1T-parameter model such as Kimi-K2.6 and DeepSeek-V4-pro, Agents-A1 achieves leading results on SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), and MolBench-Bind (56.8), and remains highly competitive on SciCode (44.3), HLE (47.6) and BrowseComp (75.5). We hope this work provides the community with a practical path for scaling the horizon using a 35B agent that can reach or match the performance of 1T models on long-horizon tasks.