Op Weg naar Autonome Lange-Termijn Engineering voor Machinaal Leren Onderzoek

Samenvatting

Autonoom AI-onderzoek heeft een snelle vooruitgang geboekt, maar technische uitvoering van ML-onderzoek op lange termijn blijft moeilijk: agents moeten coherente voortgang kunnen handhaven over taken zoals het begrijpen van opdrachten, het opzetten van de omgeving, implementatie, experimenteren en debuggen, gedurende uren of dagen. Wij introduceren AiScientist, een systeem voor autonome technische uitvoering van ML-onderzoek op lange termijn, gebaseerd op een eenvoudig principe: sterke prestaties op lange termijn vereisen zowel gestructureerde orchestratie als duurzame staatcontinuïteit. Hiertoe combineert AiScientist hiërarchische orchestratie met een 'File-as-Bus' werkruimte met beperkte rechten: een top-level Orchestrator houdt controle op het niveau van fasen door middel van beknopte samenvattingen en een werkruimtekaart, terwijl gespecialiseerde agents zich herhaaldelijk opnieuw oriënteren op duurzame artefacten zoals analyses, plannen, code en experimenteel bewijs, in plaats van voornamelijk te vertrouwen op conversatiële overdrachten. Dit resulteert in een dunne controlelaag over een dikke, persistente staat. Over twee complementaire benchmarks verbetert AiScientist de PaperBench-score gemiddeld met 10.54 punten ten opzichte van de best presterende vergelijkbare baseline en behaalt het 81.82 Any Medal% op MLE-Bench Lite. Ablatiestudies tonen verder aan dat het File-as-Bus-protocol een cruciale factor voor de prestaties is; verwijdering ervan leidt tot een daling van 6.41 punten op PaperBench en 31.82 punten op MLE-Bench Lite. Deze resultaten suggereren dat technische uitvoering van ML-onderzoek op lange termijn een systeemprobleem is van het coördineren van gespecialiseerd werk over duurzame projectstaat, in plaats van een puur lokaal redeneerprobleem.

English

Autonomous AI research has advanced rapidly, but long-horizon ML research engineering remains difficult: agents must sustain coherent progress across task comprehension, environment setup, implementation, experimentation, and debugging over hours or days. We introduce AiScientist, a system for autonomous long-horizon engineering for ML research built on a simple principle: strong long-horizon performance requires both structured orchestration and durable state continuity. To this end, AiScientist combines hierarchical orchestration with a permission-scoped File-as-Bus workspace: a top-level Orchestrator maintains stage-level control through concise summaries and a workspace map, while specialized agents repeatedly re-ground on durable artifacts such as analyses, plans, code, and experimental evidence rather than relying primarily on conversational handoffs, yielding thin control over thick state. Across two complementary benchmarks, AiScientist improves PaperBench score by 10.54 points on average over the best matched baseline and achieves 81.82 Any Medal% on MLE-Bench Lite. Ablation studies further show that File-as-Bus protocol is a key driver of performance, reducing PaperBench by 6.41 points and MLE-Bench Lite by 31.82 points when removed. These results suggest that long-horizon ML research engineering is a systems problem of coordinating specialized work over durable project state, rather than a purely local reasoning problem.

Op Weg naar Autonome Lange-Termijn Engineering voor Machinaal Leren Onderzoek

Toward Autonomous Long-Horizon Engineering for ML Research

Samenvatting

Support