Den Horizont skalieren, nicht die Parameter: Erreichen einer Billion-Parameter-Leistung mit einem 35B-Agenten

Zusammenfassung

Wir stellen Agents-A1 vor, ein 35B Mixture-of-Experts Agentenmodell, das durch Skalierung des Agentenhorizonts die Leistungsfähigkeit von Billionen-Parameter-Modellen erreicht. Wir untersuchen die Skalierung des Agentenhorizonts aus zwei Perspektiven: der Skalierung von Langzeit-Trajektorien und der Skalierung heterogener Agentenfähigkeiten. Zu diesem Zweck bauen wir eine Langzeit-Wissens-Handlungs-Infrastruktur auf, die externes Wissen, Aktionen, Beobachtungen und Ergebnisse von Verifikatoren miteinander verbindet und agentische Trajektorien mit einer durchschnittlichen Länge von 45.000 Tokens erzeugt. Darauf aufbauend trainieren wir Agents-A1 mit einem dreistufigen Rezept. Zunächst führen wir ein domänenübergreifendes überwachtes Feintuning durch, um das Basismodell an breite agentische Verhaltensweisen anzupassen. Zweitens trainieren wir domänenspezifische Lehrermodelle, um spezialisiertes Expertenwissen in jeder Domäne zu erfassen. Drittens schlagen wir eine Multi-Teacher-Domänen-gelenkte On-Policy-Destillation mit salienter Vokabelausrichtung vor, um die Wissenstransfer-Effizienz zwischen verschiedenen Domänen zu verbessern und sechs heterogene Domänen in einem einsetzbaren Schülermodell zu vereinen. Agents-A1 erzielt starke und breite Leistungen bei Langzeit-Agenten-Benchmarks. Verglichen mit 1T-Parameter-Modellen wie Kimi-K2.6 und DeepSeek-V4-pro erreicht Agents-A1 führende Ergebnisse auf SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) und MolBench-Bind (56,8) und bleibt auf SciCode (44,3), HLE (47,6) und BrowseComp (75,5) hochgradig wettbewerbsfähig. Wir hoffen, dass diese Arbeit der Community einen praktischen Weg zur Skalierung des Horizonts mit einem 35B-Agenten aufzeigt, der auf Langzeitaufgaben die Leistung von 1T-Modellen erreichen oder damit gleichziehen kann.

English

We introduce Agents-A1, a 35B Mixture-of-Experts Agentic Model that reaches trillion-parameter-level performance by scaling the agent horizon. We investigate agent-horizon scaling from two perspectives: scaling long-horizon trajectories and scaling heterogeneous agent abilities. To support this goal, we build a long-horizon knowledge-action infrastructure that connects external knowledge, actions, observations, and verifier outcomes, producing agentic trajectories with an average length of 45K tokens. Based on this, we train Agents-A1 with a three-stage recipe. First, we perform full-domain supervised fine-tuning to align the base model with broad agentic behaviors. Second, we train domain-level teacher models to capture specialized expertise in each domain. Third, we propose a multi-teacher domain-routed on-policy distillation with salient vocabulary alignment to improve knowledge transfer efficiency across different domains, unifying six heterogeneous domains into one deployable student model. Agents-A1 achieves strong and broad performance for long-horizon agent benchmarks. Compared with 1T-parameter model such as Kimi-K2.6 and DeepSeek-V4-pro, Agents-A1 achieves leading results on SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), and MolBench-Bind (56.8), and remains highly competitive on SciCode (44.3), HLE (47.6) and BrowseComp (75.5). We hope this work provides the community with a practical path for scaling the horizon using a 35B agent that can reach or match the performance of 1T models on long-horizon tasks.