Fusión de Conocimientos Conductuales en Modelos Agénticos Reforzados

Resumen

El aprendizaje por refuerzo (RL) es fundamental para el post-entrenamiento, particularmente para modelos agentivos que requieren comportamientos de razonamiento especializados. En este contexto, la fusión de modelos ofrece un mecanismo práctico para integrar múltiples agentes entrenados con RL de diferentes tareas en un único modelo generalista. Sin embargo, los métodos de fusión existentes están diseñados para el ajuste fino supervisado (SFT) y son subóptimos para preservar las capacidades específicas de la tarea en modelos agentivos entrenados con RL. La raíz del problema es un desajuste en los vectores de tarea entre RL y SFT: el RL *on-policy* induce vectores de tarea altamente dispersos y heterogéneos, mientras que la fusión al estilo SFT asume implícitamente vectores de tarea densos y globalmente comparables. Cuando se aplica el promedio global estándar bajo este desajuste, los vectores de tarea no superpuestos del RL, que codifican comportamientos críticos específicos de la tarea, se reducen y las actualizaciones de parámetros se diluyen. Para abordar este problema, proponemos Fusión de Agentes Reforzada (RAM, por sus siglas en inglés), un marco de fusión consciente de la distribución diseñado explícitamente para modelos agentivos entrenados con RL. RAM desentrelaza las actualizaciones de parámetros compartidas y las únicas específicas de la tarea, promediando los componentes compartidos mientras preserva y reescala selectivamente los únicos para contrarrestar la dilución de las actualizaciones de parámetros. Los experimentos en múltiples dominios de agentes y arquitecturas de modelos demuestran que RAM no solo supera los métodos de fusión de referencia, sino que también desbloquea el potencial sinérgico entre agentes para lograr un rendimiento superior al de los agentes especializados en sus respectivos dominios.

English

Reinforcement learning (RL) is central to post-training, particularly for agentic models that require specialized reasoning behaviors. In this setting, model merging offers a practical mechanism for integrating multiple RL-trained agents from different tasks into a single generalist model. However, existing merging methods are designed for supervised fine-tuning (SFT), and they are suboptimal to preserve task-specific capabilities on RL-trained agentic models. The root is a task-vector mismatch between RL and SFT: on-policy RL induces task vectors that are highly sparse and heterogeneous, whereas SFT-style merging implicitly assumes dense and globally comparable task vectors. When standard global averaging is applied under this mismatch, RL's non-overlapping task vectors that encode critical task-specific behaviors are reduced and parameter updates are diluted. To address this issue, we propose Reinforced Agent Merging (RAM), a distribution-aware merging framework explicitly designed for RL-trained agentic models. RAM disentangles shared and task-specific unique parameter updates, averaging shared components while selectively preserving and rescaling unique ones to counteract parameter update dilution. Experiments across multiple agent domains and model architectures demonstrate that RAM not only surpasses merging baselines, but also unlocks synergistic potential among agents to achieve performance superior to that of specialized agents in their domains.

Fusión de Conocimientos Conductuales en Modelos Agénticos Reforzados

Behavior Knowledge Merge in Reinforced Agentic Models

Resumen

Support