К автономному долгосрочному проектированию в исследованиях машинного обучения

Аннотация

Автономные исследования в области ИИ быстро развиваются, но инженерия долгосрочных ML-исследований остается сложной задачей: агенты должны поддерживать последовательный прогресс в понимании задачи, настройке среды, реализации, экспериментировании и отладке в течение часов или дней. Мы представляем AiScientist — систему для автономной инженерии долгосрочных ML-исследований, основанную на простом принципе: высокая производительность на длительных горизонтах требует как структурированной оркестрации, так и устойчивой непрерывности состояния. Для этого AiScientist сочетает иерархическую оркестрацию с рабочим пространством по принципу «Файл-как-Шина» с ограниченными правами доступа: главный Оркестратор поддерживает контроль на уровне этапов через краткие сводки и карту рабочего пространства, в то время как специализированные агенты постоянно переосновываются на устойчивых артефактах, таких как анализы, планы, код и экспериментальные данные, вместо того чтобы полагаться в основном на диалоговые передачи управления, что обеспечивает тонкий контроль над толстым состоянием. На двух взаимодополняющих бенчмарках AiScientist улучшает показатель PaperBench в среднем на 10.54 пункта по сравнению с лучшим подобранным базовым уровнем и достигает 81.82% Any Medal на MLE-Bench Lite. Исследования методом абляции дополнительно показывают, что протокол «Файл-как-Шина» является ключевым драйвером производительности: его удаление снижает показатель PaperBench на 6.41 пункта, а MLE-Bench Lite — на 31.82 пункта. Эти результаты позволяют предположить, что инженерия долгосрочных ML-исследований является системной проблемой координации специализированной работы над устойчивым состоянием проекта, а не чисто проблемой локального рассуждения.

English

Autonomous AI research has advanced rapidly, but long-horizon ML research engineering remains difficult: agents must sustain coherent progress across task comprehension, environment setup, implementation, experimentation, and debugging over hours or days. We introduce AiScientist, a system for autonomous long-horizon engineering for ML research built on a simple principle: strong long-horizon performance requires both structured orchestration and durable state continuity. To this end, AiScientist combines hierarchical orchestration with a permission-scoped File-as-Bus workspace: a top-level Orchestrator maintains stage-level control through concise summaries and a workspace map, while specialized agents repeatedly re-ground on durable artifacts such as analyses, plans, code, and experimental evidence rather than relying primarily on conversational handoffs, yielding thin control over thick state. Across two complementary benchmarks, AiScientist improves PaperBench score by 10.54 points on average over the best matched baseline and achieves 81.82 Any Medal% on MLE-Bench Lite. Ablation studies further show that File-as-Bus protocol is a key driver of performance, reducing PaperBench by 6.41 points and MLE-Bench Lite by 31.82 points when removed. These results suggest that long-horizon ML research engineering is a systems problem of coordinating specialized work over durable project state, rather than a purely local reasoning problem.

К автономному долгосрочному проектированию в исследованиях машинного обучения

Toward Autonomous Long-Horizon Engineering for ML Research

Аннотация

Support