Объединение поведенческих знаний в усиленных агентных моделях

Behavior Knowledge Merge in Reinforced Agentic Models

January 20, 2026

Авторы: Xiangchi Yuan, Dachuan Shi, Chunhui Zhang, Zheyuan Liu, Shenglong Yao, Soroush Vosoughi, Wenke Lee

cs.AI

Аннотация

Обучение с подкреплением (ОП) играет ключевую роль в пост-обучении, особенно для агентных моделей, требующих специализированных поведенческих стратегий рассуждений. В этом контексте слияние моделей предлагает практичный механизм для интеграции нескольких агентов, обученных методом ОП на разных задачах, в единую модель-универсал. Однако существующие методы слияния разработаны для контролируемой тонкой настройки (SFT) и оказываются неоптимальными для сохранения специализированных возможностей у агентных моделей, обученных ОП. Корень проблемы заключается в несоответствии task-векторов между ОП и SFT: обучение с подкреплением на основе собственной политики порождает высокоразреженные и гетерогенные task-векторы, в то время как методы слияния в стиле SFT неявно предполагают наличие плотных и глобально сопоставимых task-векторов. Когда в условиях этого несоответствия применяется стандартное глобальное усреднение, не перекрывающиеся task-векторы ОП, кодирующие критически важные специализированные поведения, нивелируются, а параметрические обновления разбавляются. Для решения этой проблемы мы предлагаем Reinforced Agent Merging (RAM) — распределённо-ориентированную структуру слияния, явно разработанную для агентных моделей, обученных ОП. RAM разделяет общие и уникальные, специфичные для задачи, параметрические обновления, усредняя общие компоненты и выборочно сохраняя и перенормируя уникальные, чтобы противодействовать разбавлению обновлений параметров. Эксперименты в различных агентных доменах и архитектурах моделей демонстрируют, что RAM не только превосходит базовые методы слияния, но и раскрывает синергетический потенциал между агентами, позволяя достичь производительности, превосходящей показатели специализированных агентов в их доменах.

English

Reinforcement learning (RL) is central to post-training, particularly for agentic models that require specialized reasoning behaviors. In this setting, model merging offers a practical mechanism for integrating multiple RL-trained agents from different tasks into a single generalist model. However, existing merging methods are designed for supervised fine-tuning (SFT), and they are suboptimal to preserve task-specific capabilities on RL-trained agentic models. The root is a task-vector mismatch between RL and SFT: on-policy RL induces task vectors that are highly sparse and heterogeneous, whereas SFT-style merging implicitly assumes dense and globally comparable task vectors. When standard global averaging is applied under this mismatch, RL's non-overlapping task vectors that encode critical task-specific behaviors are reduced and parameter updates are diluted. To address this issue, we propose Reinforced Agent Merging (RAM), a distribution-aware merging framework explicitly designed for RL-trained agentic models. RAM disentangles shared and task-specific unique parameter updates, averaging shared components while selectively preserving and rescaling unique ones to counteract parameter update dilution. Experiments across multiple agent domains and model architectures demonstrate that RAM not only surpasses merging baselines, but also unlocks synergistic potential among agents to achieve performance superior to that of specialized agents in their domains.