ARIA: Training von Sprachagenten mit intentionsgetriebener Belohnungsaggregation

ARIA: Training Language Agents with Intention-Driven Reward Aggregation

May 31, 2025

Autoren: Ruihan Yang, Yikai Zhang, Aili Chen, Xintao Wang, Siyu Yuan, Jiangjie Chen, Deqing Yang, Yanghua Xiao

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben es Agenten ermöglicht, komplexe Schlussfolgerungen und Entscheidungsfindungen durch freie Sprachinteraktionen durchzuführen. In offenen Sprachhandlungsumgebungen (z. B. Verhandlungen oder Fragespielen) kann der Aktionsraum jedoch als gemeinsame Verteilung über Tokens formuliert werden, was zu einem exponentiell großen Aktionsraum führt. Das Abtasten von Aktionen in einem solchen Raum kann zu extremer Belohnungssparsität führen, was eine große Belohnungsvarianz mit sich bringt und effektives Reinforcement Learning (RL) behindert. Um dies zu adressieren, schlagen wir ARIA vor, eine Methode, die Belohnungen im Intentionenraum aggregiert, um ein effizientes und effektives Training von Sprachagenten zu ermöglichen. ARIA zielt darauf ab, natürliche Sprachaktionen aus dem hochdimensionalen gemeinsamen Token-Verteilungsraum in einen niedrigdimensionalen Intentionenraum zu projizieren, in dem semantisch ähnliche Aktionen gruppiert und gemeinsame Belohnungen zugewiesen werden. Diese intentionsbewusste Belohnungsaggregation reduziert die Belohnungsvarianz, indem sie Belohnungssignale verdichtet und so eine bessere Politikoptimierung fördert. Umfangreiche Experimente zeigen, dass ARIA nicht nur die Varianz des Politikgradienten signifikant reduziert, sondern auch erhebliche Leistungssteigerungen von durchschnittlich 9,95 % über vier nachgelagerte Aufgaben liefert und dabei konsistent Offline- und Online-RL-Baselines übertrifft.

English

Large language models (LLMs) have enabled agents to perform complex reasoning and decision-making through free-form language interactions. However, in open-ended language action environments (e.g., negotiation or question-asking games), the action space can be formulated as a joint distribution over tokens, resulting in an exponentially large action space. Sampling actions in such a space can lead to extreme reward sparsity, which brings large reward variance, hindering effective reinforcement learning (RL). To address this, we propose ARIA, a method that Aggregates Rewards in Intention space to enable efficient and effective language Agents training. ARIA aims to project natural language actions from the high-dimensional joint token distribution space into a low-dimensional intention space, where semantically similar actions are clustered and assigned shared rewards. This intention-aware reward aggregation reduces reward variance by densifying reward signals, fostering better policy optimization. Extensive experiments demonstrate that ARIA not only significantly reduces policy gradient variance, but also delivers substantial performance gains of an average of 9.95% across four downstream tasks, consistently outperforming offline and online RL baselines.