ARIA: Обучение языковых агентов с помощью агрегации вознаграждений, управляемой намерениями

ARIA: Training Language Agents with Intention-Driven Reward Aggregation

May 31, 2025

Авторы: Ruihan Yang, Yikai Zhang, Aili Chen, Xintao Wang, Siyu Yuan, Jiangjie Chen, Deqing Yang, Yanghua Xiao

cs.AI

Аннотация

Крупные языковые модели (LLM) позволяют агентам выполнять сложные рассуждения и принимать решения через свободные языковые взаимодействия. Однако в открытых языковых средах действий (например, переговоры или игры с задаванием вопросов) пространство действий может быть сформулировано как совместное распределение токенов, что приводит к экспоненциально большому пространству действий. Выборка действий в таком пространстве может привести к крайне редким наградам, что вызывает высокую дисперсию наград, затрудняя эффективное обучение с подкреплением (RL). Для решения этой проблемы мы предлагаем метод ARIA, который агрегирует награды в пространстве намерений для обеспечения эффективного обучения языковых агентов. ARIA стремится проецировать естественные языковые действия из высокоразмерного пространства совместного распределения токенов в низкоразмерное пространство намерений, где семантически схожие действия группируются и получают общие награды. Такая агрегация наград с учетом намерений снижает дисперсию наград, уплотняя сигналы наград и способствуя лучшей оптимизации политик. Многочисленные эксперименты показывают, что ARIA не только значительно снижает дисперсию градиента политики, но и обеспечивает существенный прирост производительности в среднем на 9.95% в четырех последующих задачах, стабильно превосходя базовые методы как оффлайн, так и онлайн RL.

English

Large language models (LLMs) have enabled agents to perform complex reasoning and decision-making through free-form language interactions. However, in open-ended language action environments (e.g., negotiation or question-asking games), the action space can be formulated as a joint distribution over tokens, resulting in an exponentially large action space. Sampling actions in such a space can lead to extreme reward sparsity, which brings large reward variance, hindering effective reinforcement learning (RL). To address this, we propose ARIA, a method that Aggregates Rewards in Intention space to enable efficient and effective language Agents training. ARIA aims to project natural language actions from the high-dimensional joint token distribution space into a low-dimensional intention space, where semantically similar actions are clustered and assigned shared rewards. This intention-aware reward aggregation reduces reward variance by densifying reward signals, fostering better policy optimization. Extensive experiments demonstrate that ARIA not only significantly reduces policy gradient variance, but also delivers substantial performance gains of an average of 9.95% across four downstream tasks, consistently outperforming offline and online RL baselines.