ARIA: 意図駆動型報酬集約による言語エージェントの訓練

要旨

大規模言語モデル（LLMs）は、自由形式の言語インタラクションを通じてエージェントが複雑な推論と意思決定を行うことを可能にしました。しかし、オープンエンドの言語行動環境（例えば、交渉や質問ゲーム）では、行動空間はトークンの結合分布として定式化され、指数的に大きな行動空間が生じます。このような空間で行動をサンプリングすると、極端な報酬の希薄化が起こり、大きな報酬の分散が生じ、効果的な強化学習（RL）を妨げます。この問題に対処するため、我々はARIAを提案します。ARIAは、意図空間で報酬を集約することで、効率的かつ効果的な言語エージェントのトレーニングを可能にする方法です。ARIAは、高次元のトークン結合分布空間から自然言語行動を低次元の意図空間に投影し、意味的に類似した行動をクラスタリングして共有報酬を割り当てることを目指します。この意図を考慮した報酬集約は、報酬信号を密にすることで報酬の分散を減らし、より良いポリシー最適化を促進します。広範な実験により、ARIAがポリシー勾配の分散を大幅に減少させるだけでなく、4つの下流タスクで平均9.95%の大幅な性能向上をもたらし、オフラインおよびオンラインのRLベースラインを一貫して上回ることが実証されました。

English

Large language models (LLMs) have enabled agents to perform complex reasoning and decision-making through free-form language interactions. However, in open-ended language action environments (e.g., negotiation or question-asking games), the action space can be formulated as a joint distribution over tokens, resulting in an exponentially large action space. Sampling actions in such a space can lead to extreme reward sparsity, which brings large reward variance, hindering effective reinforcement learning (RL). To address this, we propose ARIA, a method that Aggregates Rewards in Intention space to enable efficient and effective language Agents training. ARIA aims to project natural language actions from the high-dimensional joint token distribution space into a low-dimensional intention space, where semantically similar actions are clustered and assigned shared rewards. This intention-aware reward aggregation reduces reward variance by densifying reward signals, fostering better policy optimization. Extensive experiments demonstrate that ARIA not only significantly reduces policy gradient variance, but also delivers substantial performance gains of an average of 9.95% across four downstream tasks, consistently outperforming offline and online RL baselines.

ARIA: 意図駆動型報酬集約による言語エージェントの訓練

ARIA: Training Language Agents with Intention-Driven Reward Aggregation

要旨

Support