Verhaltenswissen-Verschmelzung in verstärkten agentenbasierten Modellen
Behavior Knowledge Merge in Reinforced Agentic Models
January 20, 2026
papers.authors: Xiangchi Yuan, Dachuan Shi, Chunhui Zhang, Zheyuan Liu, Shenglong Yao, Soroush Vosoughi, Wenke Lee
cs.AI
papers.abstract
Reinforcement Learning (RL) ist von zentraler Bedeutung für das Post-Training, insbesondere für agentische Modelle, die spezielle Reasoning-Fähigkeiten erfordern. In diesem Kontext bietet Model Merging einen praktischen Mechanismus, um mehrere RL-trainierte Agenten aus verschiedenen Aufgaben in ein einziges generalistisches Modell zu integrieren. Bestehende Merging-Methoden sind jedoch für Supervised Fine-Tuning (SFT) konzipiert und eignen sich als suboptimal, um aufgaben-spezifische Fähigkeiten bei RL-trainierten agentischen Modellen zu erhalten. Die Ursache liegt in einer Task-Vektor-Diskrepanz zwischen RL und SFT: On-Policy-RL erzeugt hochgradig spärliche und heterogene Task-Vektoren, während SFT-Merging implizit von dichten und global vergleichbaren Task-Vektoren ausgeht. Wenn unter dieser Diskrepanz die Standardmethode des globalen Durchschnitts angewendet wird, werden RLs nicht-überlappende Task-Vektoren, die kritische aufgaben-spezifische Verhaltensweisen kodieren, reduziert und Parameterupdates verwässert. Um dieses Problem zu lösen, schlagen wir Reinforced Agent Merging (RAM) vor, ein verteilungsbewusstes Merging-Framework, das explizit für RL-trainierte agentische Modelle entwickelt wurde. RAM entwirrt gemeinsame und aufgaben-spezifische, einzigartige Parameterupdates, mittelt gemeinsame Komponenten und bewahrt einzigartige Komponenten selektiv, während es sie neu skaliert, um die Verwässerung von Parameterupdates zu verhindern. Experimente in mehreren Agenten-Domänen und mit verschiedenen Modellarchitekturen zeigen, dass RAM nicht nur Merging-Baselines übertrifft, sondern auch synergetisches Potenzial zwischen Agenten freisetzt, um eine Leistung zu erzielen, die die von spezialisierten Agenten in ihren jeweiligen Domänen übertrifft.
English
Reinforcement learning (RL) is central to post-training, particularly for agentic models that require specialized reasoning behaviors. In this setting, model merging offers a practical mechanism for integrating multiple RL-trained agents from different tasks into a single generalist model. However, existing merging methods are designed for supervised fine-tuning (SFT), and they are suboptimal to preserve task-specific capabilities on RL-trained agentic models. The root is a task-vector mismatch between RL and SFT: on-policy RL induces task vectors that are highly sparse and heterogeneous, whereas SFT-style merging implicitly assumes dense and globally comparable task vectors. When standard global averaging is applied under this mismatch, RL's non-overlapping task vectors that encode critical task-specific behaviors are reduced and parameter updates are diluted. To address this issue, we propose Reinforced Agent Merging (RAM), a distribution-aware merging framework explicitly designed for RL-trained agentic models. RAM disentangles shared and task-specific unique parameter updates, averaging shared components while selectively preserving and rescaling unique ones to counteract parameter update dilution. Experiments across multiple agent domains and model architectures demonstrate that RAM not only surpasses merging baselines, but also unlocks synergistic potential among agents to achieve performance superior to that of specialized agents in their domains.