RLVER: 共感的エージェントのための検証可能な感情報酬を用いた強化学習
RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents
July 3, 2025
著者: Peisong Wang, Ruotian Ma, Bang Zhang, Xingyu Chen, Zhiwei He, Kang Luo, Qingsong Lv, Qingxuan Jiang, Zheng Xie, Shanyi Wang, Yuan Li, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li
cs.AI
要旨
大規模言語モデル（LLMs）は論理的およびアルゴリズム的推論において優れているが、その感情的知性（EQ）は認知能力に比べて依然として大きく遅れをとっている。検証可能な報酬からの強化学習（RLVR）は他の分野で進展を遂げているものの、対話、特に感情的知性への応用は未だ十分に探求されていない。本研究では、シミュレートされたユーザーからの検証可能な感情報酬を活用し、LLMsの高次共感能力を育成する初のエンドツーエンド強化学習フレームワークであるRLVERを提案する。このフレームワーク内では、自己一貫性のある感情的シミュレートユーザーが対話ロールアウトに参加し、会話中に決定論的感情スコアを生成し、LLMの学習を導く報酬信号として機能する。公開されているQwen2.5-7B-InstructモデルをPPOでファインチューニングすることで、そのSentient-Benchmarkスコアを13.3から79.2に向上させながら、数学的およびコーディング能力をほぼ維持した。広範な実験により以下のことが明らかになった：（i）RLVERは複数の対話能力を一貫して向上させる；（ii）思考モデルと非思考モデルは異なる傾向を示す—思考モデルは共感と洞察において優れ、非思考モデルは行動を好む；（iii）GRPOはしばしば安定した向上をもたらすが、PPOは特定の能力をより高いレベルに押し上げることができる；（iv）より困難な環境が必ずしも良いとは限らず、適度な環境がより強い結果をもたらすことがある。我々の結果は、RLVERが感情的知性を備えた広範な能力を持つ言語エージェントに向けた実用的な道筋であることを示している。
English
Large language models (LLMs) excel at logical and algorithmic reasoning, yet
their emotional intelligence (EQ) still lags far behind their cognitive
prowess. While reinforcement learning from verifiable rewards (RLVR) has
advanced in other domains, its application to dialogue-especially for emotional
intelligence-remains underexplored. In this work, we introduce RLVER, the first
end-to-end reinforcement learning framework that leverages verifiable emotion
rewards from simulated users to cultivate higher-order empathetic abilities in
LLMs. Within this framework, self-consistent affective simulated users engage
in dialogue rollouts and produce deterministic emotion scores during
conversations, serving as reward signals to guide the LLM's learning.
Fine-tuning publicly available Qwen2.5-7B-Instruct model with PPO boosts its
Sentient-Benchmark score from 13.3 to 79.2 while largely preserving
mathematical and coding competence. Extensive experiments reveal that: (i)
RLVER consistently improves multiple dialogue capabilities; (ii) Thinking and
non-thinking models show distinct trends--thinking models excel in empathy and
insight, while non-thinking models favor action; (iii) GRPO often yields stable
gains, while PPO can push certain capabilities to a higher ceiling; (iv) More
challenging environments are not always better-moderate ones can yield stronger
outcomes. Our results show that RLVER is a practical route toward emotionally
intelligent and broadly capable language agents.