CODA: Coördinatie van het Cerebrum en Cerebellum voor een Dual-Brain Computer Gebruik Agent met Ontkoppeld Reinforcement Learning
CODA: Coordinating the Cerebrum and Cerebellum for a Dual-Brain Computer Use Agent with Decoupled Reinforcement Learning
August 27, 2025
Auteurs: Zeyi Sun, Yuhang Cao, Jianze Liang, Qiushi Sun, Ziyu Liu, Zhixiong Zhang, Yuhang Zang, Xiaoyi Dong, Kai Chen, Dahua Lin, Jiaqi Wang
cs.AI
Samenvatting
Autonome agents voor Grafische Gebruikersinterfaces (GUI's) worden geconfronteerd met aanzienlijke uitdagingen in gespecialiseerde domeinen zoals wetenschappelijk rekenen, waar zowel planning op lange termijn als precieze uitvoering vereist zijn. Bestaande benaderingen kampen met een afweging: generalistische agents zijn goed in planning maar presteren slecht in uitvoering, terwijl gespecialiseerde agents het tegenovergestelde probleem hebben. Recente compositionele frameworks proberen deze kloof te overbruggen door een planner en een actor te combineren, maar deze zijn doorgaans statisch en niet trainbaar, wat aanpassing op basis van ervaring verhindert. Dit is een kritische beperking gezien de schaarste aan hoogwaardige data in wetenschappelijke domeinen. Om deze beperkingen aan te pakken, introduceren we CODA, een nieuw en trainbaar compositioneel framework dat een generalistische planner (Cerebrum) integreert met een gespecialiseerde uitvoerder (Cerebellum), getraind via een toegewijde tweefasenpijplijn. In de eerste fase, Specialisatie, passen we een ontkoppelde GRPO-benadering toe om een expertplanner te trainen voor elke wetenschappelijke applicatie afzonderlijk, waarbij we starten vanuit een kleine set taaktrajecten. In de tweede fase, Generalisatie, aggregeren we alle succesvolle trajecten van de gespecialiseerde experts om een geconsolideerde dataset op te bouwen, die vervolgens wordt gebruikt voor supervised fine-tuning van de uiteindelijke planner. Dit voorziet CODA van zowel robuuste uitvoering als domeinoverschrijdende generalisatie. Geëvalueerd op vier uitdagende applicaties uit de ScienceBoard-benchmark, presteert CODA aanzienlijk beter dan de baselines en vestigt het een nieuwe state of the art onder open-source modellen.
English
Autonomous agents for Graphical User Interfaces (GUIs) face significant
challenges in specialized domains such as scientific computing, where both
long-horizon planning and precise execution are required. Existing approaches
suffer from a trade-off: generalist agents excel at planning but perform poorly
in execution, while specialized agents demonstrate the opposite weakness.
Recent compositional frameworks attempt to bridge this gap by combining a
planner and an actor, but they are typically static and non-trainable, which
prevents adaptation from experience. This is a critical limitation given the
scarcity of high-quality data in scientific domains. To address these
limitations, we introduce CODA, a novel and trainable compositional framework
that integrates a generalist planner (Cerebrum) with a specialist executor
(Cerebellum), trained via a dedicated two-stage pipeline. In the first stage,
Specialization, we apply a decoupled GRPO approach to train an expert planner
for each scientific application individually, bootstrapping from a small set of
task trajectories. In the second stage, Generalization, we aggregate all
successful trajectories from the specialized experts to build a consolidated
dataset, which is then used for supervised fine-tuning of the final planner.
This equips CODA with both robust execution and cross-domain generalization.
Evaluated on four challenging applications from the ScienceBoard benchmark,
CODA significantly outperforms baselines and establishes a new state of the art
among open-source models.