Escalando el horizonte, no los parámetros: alcanzando el rendimiento de un billón de parámetros con un agente de 35B

Resumen

Presentamos Agents-A1, un modelo agéntico de 35B basado en Mezcla de Expertos que alcanza un rendimiento propio de modelos con billones de parámetros mediante la ampliación del horizonte del agente. Investigamos la ampliación del horizonte del agente desde dos perspectivas: la ampliación de trayectorias de largo horizonte y la ampliación de capacidades agénticas heterogéneas. Para apoyar este objetivo, construimos una infraestructura de conocimiento-acción de largo horizonte que conecta conocimiento externo, acciones, observaciones y resultados de verificadores, generando trayectorias agénticas con una longitud promedio de 45K tokens. Con base en esto, entrenamos Agents-A1 con un procedimiento de tres etapas. Primero, realizamos un ajuste fino supervisado de dominio completo para alinear el modelo base con comportamientos agénticos amplios. Segundo, entrenamos modelos profesores a nivel de dominio para capturar experiencia especializada en cada dominio. Tercero, proponemos una destilación dentro de la política con enrutamiento multi-profesor por dominio y alineación de vocabulario saliente para mejorar la eficiencia de la transferencia de conocimiento entre distintos dominios, unificando seis dominios heterogéneos en un único modelo alumno desplegable. Agents-A1 logra un rendimiento sólido y amplio en evaluaciones de agentes de largo horizonte. En comparación con modelos de 1 billón de parámetros como Kimi-K2.6 y DeepSeek-V4-pro, Agents-A1 obtiene resultados líderes en SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) y MolBench-Bind (56,8), y se mantiene altamente competitivo en SciCode (44,3), HLE (47,6) y BrowseComp (75,5). Esperamos que este trabajo proporcione a la comunidad un camino práctico para ampliar el horizonte utilizando un agente de 35B que pueda alcanzar o igualar el rendimiento de modelos de 1B en tareas de largo horizonte.

English

We introduce Agents-A1, a 35B Mixture-of-Experts Agentic Model that reaches trillion-parameter-level performance by scaling the agent horizon. We investigate agent-horizon scaling from two perspectives: scaling long-horizon trajectories and scaling heterogeneous agent abilities. To support this goal, we build a long-horizon knowledge-action infrastructure that connects external knowledge, actions, observations, and verifier outcomes, producing agentic trajectories with an average length of 45K tokens. Based on this, we train Agents-A1 with a three-stage recipe. First, we perform full-domain supervised fine-tuning to align the base model with broad agentic behaviors. Second, we train domain-level teacher models to capture specialized expertise in each domain. Third, we propose a multi-teacher domain-routed on-policy distillation with salient vocabulary alignment to improve knowledge transfer efficiency across different domains, unifying six heterogeneous domains into one deployable student model. Agents-A1 achieves strong and broad performance for long-horizon agent benchmarks. Compared with 1T-parameter model such as Kimi-K2.6 and DeepSeek-V4-pro, Agents-A1 achieves leading results on SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), and MolBench-Bind (56.8), and remains highly competitive on SciCode (44.3), HLE (47.6) and BrowseComp (75.5). We hope this work provides the community with a practical path for scaling the horizon using a 35B agent that can reach or match the performance of 1T models on long-horizon tasks.