Fusion des Connaissances Comportementales dans les Modèles Agentiels Renforcés

papers.abstract

L'apprentissage par renforcement (RL) est central pour le post-entraînement, en particulier pour les modèles agentiels qui nécessitent des comportements de raisonnement spécialisés. Dans ce contexte, la fusion de modèles offre un mécanisme pratique pour intégrer plusieurs agents entraînés par RL sur différentes tâches en un modèle généraliste unique. Cependant, les méthodes de fusion existantes sont conçues pour le fine-tuning supervisé (SFT) et sont sous-optimales pour préserver les capacités spécifiques aux tâches sur les modèles agentiels entraînés par RL. La cause profonde est un décalage des vecteurs de tâche entre le RL et le SFT : le RL on-policy induit des vecteurs de tâche très épars et hétérogènes, tandis que la fusion de type SFT suppose implicitement des vecteurs de tâche denses et globalement comparables. Lorsque la moyenne globale standard est appliquée sous ce décalage, les vecteurs de tâche non chevauchants du RL, qui codent des comportements critiques spécifiques aux tâches, sont réduits et les mises à jour des paramètres sont diluées. Pour résoudre ce problème, nous proposons la Fusion d'Agents Renforcée (Reinforced Agent Merging, RAM), un cadre de fusion conscient de la distribution, explicitement conçu pour les modèles agentiels entraînés par RL. RAM démêle les mises à jour de paramètres partagées et uniques spécifiques aux tâches, en moyennant les composantes partagées tout en préservant et en re-dimensionnant sélectivement les composantes uniques pour contrer la dilution des mises à jour des paramètres. Les expériences menées sur plusieurs domaines d'agents et architectures de modèles démontrent que RAM surpasse non seulement les méthodes de fusion de référence, mais débloque également un potentiel synergique entre les agents pour atteindre des performances supérieures à celles des agents spécialisés dans leurs domaines respectifs.

English

Reinforcement learning (RL) is central to post-training, particularly for agentic models that require specialized reasoning behaviors. In this setting, model merging offers a practical mechanism for integrating multiple RL-trained agents from different tasks into a single generalist model. However, existing merging methods are designed for supervised fine-tuning (SFT), and they are suboptimal to preserve task-specific capabilities on RL-trained agentic models. The root is a task-vector mismatch between RL and SFT: on-policy RL induces task vectors that are highly sparse and heterogeneous, whereas SFT-style merging implicitly assumes dense and globally comparable task vectors. When standard global averaging is applied under this mismatch, RL's non-overlapping task vectors that encode critical task-specific behaviors are reduced and parameter updates are diluted. To address this issue, we propose Reinforced Agent Merging (RAM), a distribution-aware merging framework explicitly designed for RL-trained agentic models. RAM disentangles shared and task-specific unique parameter updates, averaging shared components while selectively preserving and rescaling unique ones to counteract parameter update dilution. Experiments across multiple agent domains and model architectures demonstrate that RAM not only surpasses merging baselines, but also unlocks synergistic potential among agents to achieve performance superior to that of specialized agents in their domains.

Fusion des Connaissances Comportementales dans les Modèles Agentiels Renforcés

Behavior Knowledge Merge in Reinforced Agentic Models

papers.abstract

Support