Fusione della Conoscenza Comportamentale nei Modelli Agenti Rinforzati
Behavior Knowledge Merge in Reinforced Agentic Models
January 20, 2026
Autori: Xiangchi Yuan, Dachuan Shi, Chunhui Zhang, Zheyuan Liu, Shenglong Yao, Soroush Vosoughi, Wenke Lee
cs.AI
Abstract
L'apprendimento per rinforzo (RL) è centrale per il post-addestramento, in particolare per i modelli agentivi che richiedono comportamenti di ragionamento specializzati. In questo contesto, il merging di modelli offre un meccanismo pratico per integrare più agenti addestrati con RL da compiti diversi in un unico modello generalista. Tuttavia, i metodi di merging esistenti sono progettati per il fine-tuning supervisionato (SFT) e sono subottimali per preservare le capacità specifiche del compito sui modelli agentivi addestrati con RL. La radice del problema è una discrepanza nei vettori del compito tra RL e SFT: il RL on-policy induce vettori del compito altamente sparsi ed eterogenei, mentre il merging in stile SFT assume implicitamente vettori del compito densi e globalmente comparabili. Quando la media globale standard viene applicata in presenza di questa discrepanza, i vettori del compito non sovrapposti del RL, che codificano comportamenti critici specifici del compito, vengono ridotti e gli aggiornamenti dei parametri vengono diluiti. Per affrontare questo problema, proponiamo il Reinforced Agent Merging (RAM), un framework di merging consapevole della distribuzione, progettato esplicitamente per modelli agentivi addestrati con RL. RAM districa gli aggiornamenti dei parametri condivisi e quelli unici specifici del compito, mediando i componenti condivisi mentre preserva e riscala selettivamente quelli unici per contrastare la diluizione degli aggiornamenti dei parametri. Esperimenti su molteplici domini agentivi e architetture di modelli dimostrano che RAM non solo supera i baseline di merging, ma sblocca anche un potenziale sinergico tra gli agenti, raggiungendo prestazioni superiori a quelle di agenti specializzati nei loro domini.
English
Reinforcement learning (RL) is central to post-training, particularly for agentic models that require specialized reasoning behaviors. In this setting, model merging offers a practical mechanism for integrating multiple RL-trained agents from different tasks into a single generalist model. However, existing merging methods are designed for supervised fine-tuning (SFT), and they are suboptimal to preserve task-specific capabilities on RL-trained agentic models. The root is a task-vector mismatch between RL and SFT: on-policy RL induces task vectors that are highly sparse and heterogeneous, whereas SFT-style merging implicitly assumes dense and globally comparable task vectors. When standard global averaging is applied under this mismatch, RL's non-overlapping task vectors that encode critical task-specific behaviors are reduced and parameter updates are diluted. To address this issue, we propose Reinforced Agent Merging (RAM), a distribution-aware merging framework explicitly designed for RL-trained agentic models. RAM disentangles shared and task-specific unique parameter updates, averaging shared components while selectively preserving and rescaling unique ones to counteract parameter update dilution. Experiments across multiple agent domains and model architectures demonstrate that RAM not only surpasses merging baselines, but also unlocks synergistic potential among agents to achieve performance superior to that of specialized agents in their domains.