Kennisintegratie van Gedrag in Gereïnforceerde Agente Modellen

Behavior Knowledge Merge in Reinforced Agentic Models

January 20, 2026

Auteurs: Xiangchi Yuan, Dachuan Shi, Chunhui Zhang, Zheyuan Liu, Shenglong Yao, Soroush Vosoughi, Wenke Lee

cs.AI

Samenvatting

Versterkend leren (RL) is cruciaal voor post-training, met name voor agent-gebaseerde modellen die gespecialiseerd redeneergedrag vereisen. In deze context biedt modelmerging een praktisch mechanisme om meerdere, op verschillende taken getrainde RL-agenten te integreren in één generalistisch model. Bestaande mergingmethoden zijn echter ontworpen voor supervised fine-tuning (SFT) en zijn suboptimaal voor het behoud van taakspecifieke capaciteiten bij RL-getrainde agentmodellen. De oorzaak is een mismatch tussen taakvectoren bij RL en SFT: on-policy RL resulteert in taakvectoren die zeer spaarzaam en heterogeen zijn, terwijl SFT-style merging impliciet uitgaat van dichte en globaal vergelijkbare taakvectoren. Wanneer standaard globale middeling onder deze mismatch wordt toegepast, worden RL's niet-overlappende taakvectoren – die cruciaal taakspecifiek gedrag coderen – gereduceerd en worden parameterupdates verdund. Om dit probleem aan te pakken, stellen wij Reinforced Agent Merging (RAM) voor, een distributiebewust mergingraamwerk dat expliciet is ontworpen voor RL-getrainde agentmodellen. RAM ontwart gedeelde en taakspecifieke unieke parameterupdates, middelt de gedeelde componenten en behoudt en herschaalt selectief de unieke componenten om parameterverdunning tegen te gaan. Experimenten in diverse agentdomeinen en modelarchitecturen tonen aan dat RAM niet alleen merging-baselines overtreft, maar ook synergistisch potentieel tussen agenten ontsluit om prestaties te bereiken die superieur zijn aan die van gespecialiseerde agenten in hun respectievelijke domeinen.

English

Reinforcement learning (RL) is central to post-training, particularly for agentic models that require specialized reasoning behaviors. In this setting, model merging offers a practical mechanism for integrating multiple RL-trained agents from different tasks into a single generalist model. However, existing merging methods are designed for supervised fine-tuning (SFT), and they are suboptimal to preserve task-specific capabilities on RL-trained agentic models. The root is a task-vector mismatch between RL and SFT: on-policy RL induces task vectors that are highly sparse and heterogeneous, whereas SFT-style merging implicitly assumes dense and globally comparable task vectors. When standard global averaging is applied under this mismatch, RL's non-overlapping task vectors that encode critical task-specific behaviors are reduced and parameter updates are diluted. To address this issue, we propose Reinforced Agent Merging (RAM), a distribution-aware merging framework explicitly designed for RL-trained agentic models. RAM disentangles shared and task-specific unique parameter updates, averaging shared components while selectively preserving and rescaling unique ones to counteract parameter update dilution. Experiments across multiple agent domains and model architectures demonstrate that RAM not only surpasses merging baselines, but also unlocks synergistic potential among agents to achieve performance superior to that of specialized agents in their domains.