ARIA: Addestramento di Agenti Linguistici con Aggregazione di Ricompense Guidata dall'Intenzione

ARIA: Training Language Agents with Intention-Driven Reward Aggregation

May 31, 2025

Autori: Ruihan Yang, Yikai Zhang, Aili Chen, Xintao Wang, Siyu Yuan, Jiangjie Chen, Deqing Yang, Yanghua Xiao

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno consentito agli agenti di eseguire ragionamenti complessi e processi decisionali attraverso interazioni linguistiche libere. Tuttavia, in ambienti di azione linguistica aperti (ad esempio, negoziazioni o giochi di domande), lo spazio delle azioni può essere formulato come una distribuzione congiunta sui token, risultando in uno spazio delle azioni esponenzialmente ampio. Campionare azioni in tale spazio può portare a una estrema sparsità delle ricompense, che genera una grande varianza delle ricompense, ostacolando l'apprendimento per rinforzo (RL) efficace. Per affrontare questo problema, proponiamo ARIA, un metodo che Aggrega le Ricompense nello Spazio delle Intenzioni per consentire un addestramento efficiente ed efficace degli Agenti linguistici. ARIA mira a proiettare le azioni in linguaggio naturale dallo spazio ad alta dimensione della distribuzione congiunta dei token in uno spazio a bassa dimensione delle intenzioni, dove azioni semanticamente simili sono raggruppate e assegnate ricompense condivise. Questa aggregazione delle ricompense basata sulle intenzioni riduce la varianza delle ricompense densificando i segnali di ricompensa, favorendo una migliore ottimizzazione della politica. Esperimenti estensivi dimostrano che ARIA non solo riduce significativamente la varianza del gradiente della politica, ma fornisce anche sostanziali miglioramenti delle prestazioni, con una media del 9,95% su quattro task downstream, superando costantemente i baseline di RL offline e online.

English

Large language models (LLMs) have enabled agents to perform complex reasoning and decision-making through free-form language interactions. However, in open-ended language action environments (e.g., negotiation or question-asking games), the action space can be formulated as a joint distribution over tokens, resulting in an exponentially large action space. Sampling actions in such a space can lead to extreme reward sparsity, which brings large reward variance, hindering effective reinforcement learning (RL). To address this, we propose ARIA, a method that Aggregates Rewards in Intention space to enable efficient and effective language Agents training. ARIA aims to project natural language actions from the high-dimensional joint token distribution space into a low-dimensional intention space, where semantically similar actions are clustered and assigned shared rewards. This intention-aware reward aggregation reduces reward variance by densifying reward signals, fostering better policy optimization. Extensive experiments demonstrate that ARIA not only significantly reduces policy gradient variance, but also delivers substantial performance gains of an average of 9.95% across four downstream tasks, consistently outperforming offline and online RL baselines.