Hacia la Ciencia Agéntica de Horizonte Ultra-Largo: Acumulación Cognitiva para la Ingeniería del Aprendizaje Automático

Resumen

El avance de la inteligencia artificial hacia una ciencia agéntica se encuentra actualmente limitado por el desafío de la autonomía de horizonte ultra-largo: la capacidad de mantener coherencia estratégica y corrección iterativa a lo largo de ciclos experimentales que abarcan días o semanas. Si bien los Modelos de Lenguaje a Gran Escala (LLM) han demostrado destreza en el razonamiento de horizonte corto, se ven fácilmente desbordados por los detalles de ejecución en los entornos de investigación reales, caracterizados por alta dimensionalidad y retroalimentación retardada, fallando en consolidar retroalimentación dispersa en una guía coherente a largo plazo. Aquí presentamos ML-Master 2.0, un agente autónomo que domina la ingeniería de aprendizaje automático (MLE) de horizonte ultra-largo, la cual representa un microcosmos representativo del descubrimiento científico. Al replantear la gestión del contexto como un proceso de acumulación cognitiva, nuestro enfoque introduce la Caché Cognitiva Jerárquica (HCC), una arquitectura multinivel inspirada en los sistemas informáticos que permite la diferenciación estructural de la experiencia a lo largo del tiempo. Al destilar dinámicamente trazas de ejecución transitorias en conocimiento estable y sabiduría transversal a tareas, la HCC permite a los agentes desacoplar la ejecución inmediata de la estrategia experimental a largo plazo, superando efectivamente los límites de escalado de las ventanas de contexto estáticas. En evaluaciones en MLE-Bench de OpenAI con presupuestos de 24 horas, ML-Master 2.0 alcanza una tasa de medallas state-of-the-art del 56.44%. Nuestros hallazgos demuestran que la autonomía de horizonte ultra-largo proporciona un plan escalable para una IA capaz de exploración autónoma más allá de complejidades precedentes por humanos.

English

The advancement of artificial intelligence toward agentic science is currently bottlenecked by the challenge of ultra-long-horizon autonomy, the ability to sustain strategic coherence and iterative correction over experimental cycles spanning days or weeks. While Large Language Models (LLMs) have demonstrated prowess in short-horizon reasoning, they are easily overwhelmed by execution details in the high-dimensional, delayed-feedback environments of real-world research, failing to consolidate sparse feedback into coherent long-term guidance. Here, we present ML-Master 2.0, an autonomous agent that masters ultra-long-horizon machine learning engineering (MLE) which is a representative microcosm of scientific discovery. By reframing context management as a process of cognitive accumulation, our approach introduces Hierarchical Cognitive Caching (HCC), a multi-tiered architecture inspired by computer systems that enables the structural differentiation of experience over time. By dynamically distilling transient execution traces into stable knowledge and cross-task wisdom, HCC allows agents to decouple immediate execution from long-term experimental strategy, effectively overcoming the scaling limits of static context windows. In evaluations on OpenAI's MLE-Bench under 24-hour budgets, ML-Master 2.0 achieves a state-of-the-art medal rate of 56.44%. Our findings demonstrate that ultra-long-horizon autonomy provides a scalable blueprint for AI capable of autonomous exploration beyond human-precedent complexities.

Hacia la Ciencia Agéntica de Horizonte Ultra-Largo: Acumulación Cognitiva para la Ingeniería del Aprendizaje Automático

Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering

Resumen

Support