ARIA: Treinamento de Agentes de Linguagem com Agregação de Recompensas Orientada por Intenção

ARIA: Training Language Agents with Intention-Driven Reward Aggregation

May 31, 2025

Autores: Ruihan Yang, Yikai Zhang, Aili Chen, Xintao Wang, Siyu Yuan, Jiangjie Chen, Deqing Yang, Yanghua Xiao

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm permitido que agentes realizem raciocínios complexos e tomadas de decisão por meio de interações linguísticas de forma livre. No entanto, em ambientes de ação linguística de final aberto (por exemplo, negociação ou jogos de perguntas e respostas), o espaço de ação pode ser formulado como uma distribuição conjunta sobre tokens, resultando em um espaço de ação exponencialmente grande. A amostragem de ações nesse espaço pode levar a uma extrema esparsidade de recompensas, o que traz uma grande variância de recompensas, dificultando o aprendizado por reforço (RL) eficaz. Para resolver isso, propomos o ARIA, um método que Agrega Recompensas no espaço de Intenção para permitir o treinamento eficiente e eficaz de Agentes de linguagem. O ARIA visa projetar ações de linguagem natural do espaço de distribuição conjunta de alta dimensão de tokens em um espaço de intenção de baixa dimensão, onde ações semanticamente semelhantes são agrupadas e recebem recompensas compartilhadas. Essa agregação de recompensas consciente da intenção reduz a variância das recompensas ao densificar os sinais de recompensa, promovendo uma melhor otimização de políticas. Experimentos extensivos demonstram que o ARIA não apenas reduz significativamente a variância do gradiente de política, mas também proporciona ganhos substanciais de desempenho, com uma média de 9,95% em quatro tarefas subsequentes, superando consistentemente as linhas de base de RL offline e online.

English

Large language models (LLMs) have enabled agents to perform complex reasoning and decision-making through free-form language interactions. However, in open-ended language action environments (e.g., negotiation or question-asking games), the action space can be formulated as a joint distribution over tokens, resulting in an exponentially large action space. Sampling actions in such a space can lead to extreme reward sparsity, which brings large reward variance, hindering effective reinforcement learning (RL). To address this, we propose ARIA, a method that Aggregates Rewards in Intention space to enable efficient and effective language Agents training. ARIA aims to project natural language actions from the high-dimensional joint token distribution space into a low-dimensional intention space, where semantically similar actions are clustered and assigned shared rewards. This intention-aware reward aggregation reduces reward variance by densifying reward signals, fostering better policy optimization. Extensive experiments demonstrate that ARIA not only significantly reduces policy gradient variance, but also delivers substantial performance gains of an average of 9.95% across four downstream tasks, consistently outperforming offline and online RL baselines.