Rumo à Engenharia Autônoma de Longo Prazo para Pesquisa em Aprendizado de Máquina
Toward Autonomous Long-Horizon Engineering for ML Research
April 14, 2026
Autores: Guoxin Chen, Jie Chen, Lei Chen, Jiale Zhao, Fanzhe Meng, Wayne Xin Zhao, Ruihua Song, Cheng Chen, Ji-Rong Wen, Kai Jia
cs.AI
Resumo
A pesquisa em IA autónoma avançou rapidamente, mas a engenharia de investigação em ML de longo horizonte permanece difícil: os agentes devem sustentar progresso coerente através da compreensão de tarefas, configuração de ambiente, implementação, experimentação e depuração ao longo de horas ou dias. Apresentamos o AiScientist, um sistema para engenharia autónoma de longo horizonte em investigação de ML construído sobre um princípio simples: um forte desempenço de longo horizonte requer tanto orquestração estruturada quanto continuidade durável de estado. Para este fim, o AiScientist combina orquestração hierárquica com um espaço de trabalho File-as-Bus com permissões delimitadas: um Orchestrador de alto nível mantém controlo a nível de fase através de resumos concisos e um mapa do espaço de trabalho, enquanto agentes especializados reaterram-se repetidamente em artefactos duráveis, como análises, planos, código e evidências experimentais, em vez de dependerem principalmente de transferências conversacionais, produzindo controlo fino sobre estado espesso. Em dois benchmarks complementares, o AiScientist melhora a pontuação do PaperBench em 10,54 pontos em média face à melhor linha de base correspondente e atinge 81,82% Any Medal no MLE-Bench Lite. Estudos de ablação mostram ainda que o protocolo File-as-Bus é um impulsionador chave do desempenho, reduzindo o PaperBench em 6,41 pontos e o MLE-Bench Lite em 31,82 pontos quando removido. Estes resultados sugerem que a engenharia de investigação em ML de longo horizonte é um problema de sistemas de coordenação de trabalho especializado sobre estado de projeto durável, em vez de um problema puramente de raciocínio local.
English
Autonomous AI research has advanced rapidly, but long-horizon ML research engineering remains difficult: agents must sustain coherent progress across task comprehension, environment setup, implementation, experimentation, and debugging over hours or days. We introduce AiScientist, a system for autonomous long-horizon engineering for ML research built on a simple principle: strong long-horizon performance requires both structured orchestration and durable state continuity. To this end, AiScientist combines hierarchical orchestration with a permission-scoped File-as-Bus workspace: a top-level Orchestrator maintains stage-level control through concise summaries and a workspace map, while specialized agents repeatedly re-ground on durable artifacts such as analyses, plans, code, and experimental evidence rather than relying primarily on conversational handoffs, yielding thin control over thick state. Across two complementary benchmarks, AiScientist improves PaperBench score by 10.54 points on average over the best matched baseline and achieves 81.82 Any Medal% on MLE-Bench Lite. Ablation studies further show that File-as-Bus protocol is a key driver of performance, reducing PaperBench by 6.41 points and MLE-Bench Lite by 31.82 points when removed. These results suggest that long-horizon ML research engineering is a systems problem of coordinating specialized work over durable project state, rather than a purely local reasoning problem.