Hacia la Ingeniería Autónoma de Largo Horizonte para la Investigación en Aprendizaje Automático

Resumen

La investigación en IA autónoma ha avanzado rápidamente, pero la ingeniería de investigación en aprendizaje automático de horizonte largo sigue siendo difícil: los agentes deben sostener un progreso coherente a través de la comprensión de tareas, la configuración del entorno, la implementación, la experimentación y la depuración durante horas o días. Presentamos AiScientist, un sistema para la ingeniería autónoma de horizonte largo en investigación de ML basado en un principio simple: un rendimiento sólido a largo plazo requiere tanto una orquestación estructurada como una continuidad de estado duradera. Para ello, AiScientist combina una orquestación jerárquica con un espacio de trabajo File-as-Bus con permisos delimitados: un Orquestador de alto nivel mantiene el control a nivel de etapa mediante resúmenes concisos y un mapa del espacio de trabajo, mientras que agentes especializados se re-contextualizan repetidamente en artefactos duraderos como análisis, planes, código y evidencia experimental, en lugar de depender principalmente de traspasos conversacionales, lo que produce un control delgado sobre un estado grueso. En dos puntos de referencia complementarios, AiScientist mejora la puntuación de PaperBench en 10.54 puntos en promedio sobre la mejor línea base comparable y alcanza un 81.82% Any Medal en MLE-Bench Lite. Los estudios de ablación muestran además que el protocolo File-as-Bus es un impulsor clave del rendimiento, reduciendo PaperBench en 6.41 puntos y MLE-Bench Lite en 31.82 puntos cuando se elimina. Estos resultados sugieren que la ingeniería de investigación en ML de horizonte largo es un problema de sistemas para coordinar trabajo especializado sobre un estado de proyecto duradero, más que un problema de razonamiento puramente local.

English

Autonomous AI research has advanced rapidly, but long-horizon ML research engineering remains difficult: agents must sustain coherent progress across task comprehension, environment setup, implementation, experimentation, and debugging over hours or days. We introduce AiScientist, a system for autonomous long-horizon engineering for ML research built on a simple principle: strong long-horizon performance requires both structured orchestration and durable state continuity. To this end, AiScientist combines hierarchical orchestration with a permission-scoped File-as-Bus workspace: a top-level Orchestrator maintains stage-level control through concise summaries and a workspace map, while specialized agents repeatedly re-ground on durable artifacts such as analyses, plans, code, and experimental evidence rather than relying primarily on conversational handoffs, yielding thin control over thick state. Across two complementary benchmarks, AiScientist improves PaperBench score by 10.54 points on average over the best matched baseline and achieves 81.82 Any Medal% on MLE-Bench Lite. Ablation studies further show that File-as-Bus protocol is a key driver of performance, reducing PaperBench by 6.41 points and MLE-Bench Lite by 31.82 points when removed. These results suggest that long-horizon ML research engineering is a systems problem of coordinating specialized work over durable project state, rather than a purely local reasoning problem.

Hacia la Ingeniería Autónoma de Largo Horizonte para la Investigación en Aprendizaje Automático

Toward Autonomous Long-Horizon Engineering for ML Research

Resumen

Support