RLVER: Reinforcement Learning met Verifieerbare Emotiebeloningen voor Empathische Agents

RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents

July 3, 2025

Auteurs: Peisong Wang, Ruotian Ma, Bang Zhang, Xingyu Chen, Zhiwei He, Kang Luo, Qingsong Lv, Qingxuan Jiang, Zheng Xie, Shanyi Wang, Yuan Li, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li

cs.AI

Samenvatting

Grote taalmodellen (LLMs) blinken uit in logisch en algoritmisch redeneren, maar hun emotionele intelligentie (EQ) blijft ver achter bij hun cognitieve vaardigheden. Hoewel reinforcement learning met verifieerbare beloningen (RLVR) in andere domeinen vooruitgang heeft geboekt, blijft de toepassing ervan in dialogen—met name voor emotionele intelligentie—onderbelicht. In dit werk introduceren we RLVER, het eerste end-to-end reinforcement learning-framework dat gebruikmaakt van verifieerbare emotiebeloningen van gesimuleerde gebruikers om hogere-orde empathische vaardigheden in LLMs te ontwikkelen. Binnen dit framework nemen zelfconsistente affectieve gesimuleerde gebruikers deel aan dialoogrollouts en produceren deterministische emotiescores tijdens gesprekken, die dienen als beloningssignalen om het leren van het LLM te sturen. Het finetunen van het publiek beschikbare Qwen2.5-7B-Instruct-model met PPO verhoogt de Sentient-Benchmark-score van 13,3 naar 79,2, terwijl de wiskundige en programmeervaardigheden grotendeels behouden blijven. Uitgebreide experimenten onthullen dat: (i) RLVER consistent meerdere dialoogvaardigheden verbetert; (ii) Denkende en niet-denkende modellen verschillende trends vertonen—denkende modellen excelleren in empathie en inzicht, terwijl niet-denkende modellen de voorkeur geven aan actie; (iii) GRPO vaak stabiele verbeteringen oplevert, terwijl PPO bepaalde vaardigheden naar een hoger niveau kan tillen; (iv) Uitdagendere omgevingen zijn niet altijd beter—gematigde omgevingen kunnen sterkere resultaten opleveren. Onze resultaten tonen aan dat RLVER een praktische route is naar emotioneel intelligente en breed capabele taalagentschappen.

English

Large language models (LLMs) excel at logical and algorithmic reasoning, yet their emotional intelligence (EQ) still lags far behind their cognitive prowess. While reinforcement learning from verifiable rewards (RLVR) has advanced in other domains, its application to dialogue-especially for emotional intelligence-remains underexplored. In this work, we introduce RLVER, the first end-to-end reinforcement learning framework that leverages verifiable emotion rewards from simulated users to cultivate higher-order empathetic abilities in LLMs. Within this framework, self-consistent affective simulated users engage in dialogue rollouts and produce deterministic emotion scores during conversations, serving as reward signals to guide the LLM's learning. Fine-tuning publicly available Qwen2.5-7B-Instruct model with PPO boosts its Sentient-Benchmark score from 13.3 to 79.2 while largely preserving mathematical and coding competence. Extensive experiments reveal that: (i) RLVER consistently improves multiple dialogue capabilities; (ii) Thinking and non-thinking models show distinct trends--thinking models excel in empathy and insight, while non-thinking models favor action; (iii) GRPO often yields stable gains, while PPO can push certain capabilities to a higher ceiling; (iv) More challenging environments are not always better-moderate ones can yield stronger outcomes. Our results show that RLVER is a practical route toward emotionally intelligent and broadly capable language agents.