Auf dem Weg zu agentenbasierter Wissenschaft mit ultralangem Planungshorizont: Kognitive Akkumulation für das Maschinelle Lernen Engineering
Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering
January 15, 2026
papers.authors: Xinyu Zhu, Yuzhu Cai, Zexi Liu, Bingyang Zheng, Cheng Wang, Rui Ye, Jiaao Chen, Hanrui Wang, Wei-Chen Wang, Yuzhi Zhang, Linfeng Zhang, Weinan E, Di Jin, Siheng Chen
cs.AI
papers.abstract
Die Entwicklung künstlicher Intelligenz hin zu agentenbasierter Wissenschaft wird derzeit durch die Herausforderung der ultra-langfristigen Autonomie gebremst – der Fähigkeit, strategische Kohärenz und iterative Korrektur über Experimentierzyklen von Tagen oder Wochen aufrechtzuerhalten. Während Large Language Models (LLMs) bei kurzfristigen Denkaufgaben beeindruckende Fähigkeiten gezeigt haben, scheitern sie in hochdimensionalen, verzögerungsbehafteten Forschungsumgebungen schnell an der Komplexität der Ausführungsdetails und können sporadische Rückmeldungen nicht in kohärente Langzeitstrategien integrieren. Hier stellen wir ML-Master 2.0 vor, einen autonomen Agenten, der ultra-langfristiges Machine-Learning-Engineering (MLE) beherrscht – einen repräsentativen Mikrokosmos wissenschaftlicher Entdeckung. Indem wir Kontextmanagement als Prozess kognitiver Akkumulation neu definieren, führt unser Ansatz Hierarchical Cognitive Caching (HCC) ein, eine mehrstufige Architektur, inspiriert von Computersystemen, die eine strukturelle Differenzierung von Erfahrung über die Zeit ermöglicht. Durch dynamische Verdichtung flüchtiger Ausführungsspuren in stabiles Wissen und aufgabentibergreifende Weisheit erlaubt es HCC Agenten, unmittelbare Ausführung von langfristiger Experimentierstrategie zu entkoppeln und so die Skalierungsgrenzen statischer Kontextfenster zu überwinden. In Evaluierungen auf OpenAIs MLE-Bench mit 24-Stunden-Budgets erzielt ML-Master 2.0 eine state-of-the-art Erfolgsrate von 56,44%. Unsere Ergebnisse zeigen, dass ultra-langfristige Autonomie einen skalierbaren Bauplan für KI bietet, die eigenständige Exploration jenseits menschlicher Komplexitätsvorlagen ermöglicht.
English
The advancement of artificial intelligence toward agentic science is currently bottlenecked by the challenge of ultra-long-horizon autonomy, the ability to sustain strategic coherence and iterative correction over experimental cycles spanning days or weeks. While Large Language Models (LLMs) have demonstrated prowess in short-horizon reasoning, they are easily overwhelmed by execution details in the high-dimensional, delayed-feedback environments of real-world research, failing to consolidate sparse feedback into coherent long-term guidance. Here, we present ML-Master 2.0, an autonomous agent that masters ultra-long-horizon machine learning engineering (MLE) which is a representative microcosm of scientific discovery. By reframing context management as a process of cognitive accumulation, our approach introduces Hierarchical Cognitive Caching (HCC), a multi-tiered architecture inspired by computer systems that enables the structural differentiation of experience over time. By dynamically distilling transient execution traces into stable knowledge and cross-task wisdom, HCC allows agents to decouple immediate execution from long-term experimental strategy, effectively overcoming the scaling limits of static context windows. In evaluations on OpenAI's MLE-Bench under 24-hour budgets, ML-Master 2.0 achieves a state-of-the-art medal rate of 56.44%. Our findings demonstrate that ultra-long-horizon autonomy provides a scalable blueprint for AI capable of autonomous exploration beyond human-precedent complexities.