ARIA: Het trainen van taalagentschappen met intentiegedreven beloningsaggregatie

ARIA: Training Language Agents with Intention-Driven Reward Aggregation

May 31, 2025

Auteurs: Ruihan Yang, Yikai Zhang, Aili Chen, Xintao Wang, Siyu Yuan, Jiangjie Chen, Deqing Yang, Yanghua Xiao

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben agents in staat gesteld om complexe redeneringen en besluitvorming uit te voeren via vrije taalinteracties. Echter, in open-ended taalactieomgevingen (bijvoorbeeld onderhandelings- of vraagstellingsspellen) kan de actieruimte worden geformuleerd als een gezamenlijke verdeling over tokens, wat resulteert in een exponentieel grote actieruimte. Het bemonsteren van acties in zo'n ruimte kan leiden tot extreme beloningsschaarste, wat grote beloningsvariantie veroorzaakt en effectieve reinforcement learning (RL) belemmert. Om dit aan te pakken, stellen we ARIA voor, een methode die beloningen aggregeert in de intentieruimte om efficiënte en effectieve training van taalagents mogelijk te maken. ARIA beoogt natuurlijke taalacties vanuit de hoogdimensionale gezamenlijke tokenverdelingruimte te projecteren in een laagdimensionale intentieruimte, waar semantisch vergelijkbare acties worden gegroepeerd en gedeelde beloningen krijgen toegewezen. Deze intentiebewuste beloningsaggregatie vermindert de beloningsvariantie door beloningssignalen te verdichten, wat betere beleidsoptimalisatie bevordert. Uitgebreide experimenten tonen aan dat ARIA niet alleen de variantie van het beleidsgradiënt aanzienlijk vermindert, maar ook substantiële prestatieverbeteringen oplevert met een gemiddelde van 9,95% over vier downstream taken, en consistent beter presteert dan offline en online RL-baselines.

English

Large language models (LLMs) have enabled agents to perform complex reasoning and decision-making through free-form language interactions. However, in open-ended language action environments (e.g., negotiation or question-asking games), the action space can be formulated as a joint distribution over tokens, resulting in an exponentially large action space. Sampling actions in such a space can lead to extreme reward sparsity, which brings large reward variance, hindering effective reinforcement learning (RL). To address this, we propose ARIA, a method that Aggregates Rewards in Intention space to enable efficient and effective language Agents training. ARIA aims to project natural language actions from the high-dimensional joint token distribution space into a low-dimensional intention space, where semantically similar actions are clustered and assigned shared rewards. This intention-aware reward aggregation reduces reward variance by densifying reward signals, fostering better policy optimization. Extensive experiments demonstrate that ARIA not only significantly reduces policy gradient variance, but also delivers substantial performance gains of an average of 9.95% across four downstream tasks, consistently outperforming offline and online RL baselines.