Fusão de Conhecimento Comportamental em Modelos Agênicos Reforçados
Behavior Knowledge Merge in Reinforced Agentic Models
January 20, 2026
Autores: Xiangchi Yuan, Dachuan Shi, Chunhui Zhang, Zheyuan Liu, Shenglong Yao, Soroush Vosoughi, Wenke Lee
cs.AI
Resumo
O aprendizado por reforço (AR) é central para o pós-treinamento, particularmente para modelos agentes que exigem comportamentos de raciocínio especializados. Nesse contexto, a fusão de modelos oferece um mecanismo prático para integrar múltiplos agentes treinados por AR de diferentes tarefas em um único modelo generalista. No entanto, os métodos de fusão existentes são projetados para ajuste fino supervisionado (SFT, do inglês *Supervised Fine-Tuning*) e são subótimos para preservar capacidades específicas da tarefa em modelos agentes treinados por AR. A raiz do problema é um descompasso entre os vetores de tarefa do AR e do SFT: o AR *on-policy* induz vetores de tarefa altamente esparsos e heterogêneos, enquanto a fusão no estilo SFT assume implicitamente vetores de tarefa densos e globalmente comparáveis. Quando a média global padrão é aplicada sob esse descompasso, os vetores de tarefa não sobrepostos do AR, que codificam comportamentos críticos específicos da tarefa, são reduzidos e as atualizações de parâmetros são diluídas. Para resolver essa questão, propomos a Fusão de Agentes Reforçada (RAM, do inglês *Reinforced Agent Merging*), uma estrutura de fusão consciente da distribuição, explicitamente projetada para modelos agentes treinados por AR. A RAM desembaraça as atualizações de parâmetros compartilhadas e as únicas específicas da tarefa, calculando a média dos componentes compartilhados enquanto preserva e redimensiona seletivamente os únicos para neutralizar a diluição das atualizações de parâmetros. Experimentos em múltiplos domínios de agentes e arquiteturas de modelo demonstram que a RAM não apenas supera as baselines de fusão, mas também desbloqueia um potencial sinérgico entre os agentes para alcançar um desempenho superior ao de agentes especializados em seus domínios.
English
Reinforcement learning (RL) is central to post-training, particularly for agentic models that require specialized reasoning behaviors. In this setting, model merging offers a practical mechanism for integrating multiple RL-trained agents from different tasks into a single generalist model. However, existing merging methods are designed for supervised fine-tuning (SFT), and they are suboptimal to preserve task-specific capabilities on RL-trained agentic models. The root is a task-vector mismatch between RL and SFT: on-policy RL induces task vectors that are highly sparse and heterogeneous, whereas SFT-style merging implicitly assumes dense and globally comparable task vectors. When standard global averaging is applied under this mismatch, RL's non-overlapping task vectors that encode critical task-specific behaviors are reduced and parameter updates are diluted. To address this issue, we propose Reinforced Agent Merging (RAM), a distribution-aware merging framework explicitly designed for RL-trained agentic models. RAM disentangles shared and task-specific unique parameter updates, averaging shared components while selectively preserving and rescaling unique ones to counteract parameter update dilution. Experiments across multiple agent domains and model architectures demonstrate that RAM not only surpasses merging baselines, but also unlocks synergistic potential among agents to achieve performance superior to that of specialized agents in their domains.