RLVER: Aprendizaje por Refuerzo con Recompensas de Emoción Verificables para Agentes Empáticos

Resumen

Los modelos de lenguaje de gran escala (LLMs) sobresalen en razonamiento lógico y algorítmico, pero su inteligencia emocional (EQ) aún está muy por detrás de su destreza cognitiva. Si bien el aprendizaje por refuerzo basado en recompensas verificables (RLVR) ha avanzado en otros dominios, su aplicación al diálogo—especialmente para la inteligencia emocional—sigue siendo poco explorada. En este trabajo, presentamos RLVER, el primer marco de aprendizaje por refuerzo de extremo a extremo que aprovecha recompensas emocionales verificables de usuarios simulados para cultivar habilidades empáticas de orden superior en LLMs. Dentro de este marco, usuarios simulados afectivos y autoconsistentes participan en diálogos y producen puntuaciones emocionales deterministas durante las conversaciones, sirviendo como señales de recompensa para guiar el aprendizaje del LLM. El ajuste fino del modelo Qwen2.5-7B-Instruct, disponible públicamente, con PPO aumenta su puntuación en Sentient-Benchmark de 13.3 a 79.2, preservando en gran medida la competencia matemática y de codificación. Experimentos extensivos revelan que: (i) RLVER mejora consistentemente múltiples capacidades de diálogo; (ii) Los modelos pensantes y no pensantes muestran tendencias distintas—los modelos pensantes sobresalen en empatía y perspicacia, mientras que los no pensantes favorecen la acción; (iii) GRPO a menudo produce ganancias estables, mientras que PPO puede llevar ciertas capacidades a un nivel más alto; (iv) Los entornos más desafiantes no siempre son mejores—los moderados pueden generar resultados más sólidos. Nuestros resultados muestran que RLVER es una ruta práctica hacia agentes de lenguaje emocionalmente inteligentes y ampliamente capaces.

English

Large language models (LLMs) excel at logical and algorithmic reasoning, yet their emotional intelligence (EQ) still lags far behind their cognitive prowess. While reinforcement learning from verifiable rewards (RLVR) has advanced in other domains, its application to dialogue-especially for emotional intelligence-remains underexplored. In this work, we introduce RLVER, the first end-to-end reinforcement learning framework that leverages verifiable emotion rewards from simulated users to cultivate higher-order empathetic abilities in LLMs. Within this framework, self-consistent affective simulated users engage in dialogue rollouts and produce deterministic emotion scores during conversations, serving as reward signals to guide the LLM's learning. Fine-tuning publicly available Qwen2.5-7B-Instruct model with PPO boosts its Sentient-Benchmark score from 13.3 to 79.2 while largely preserving mathematical and coding competence. Extensive experiments reveal that: (i) RLVER consistently improves multiple dialogue capabilities; (ii) Thinking and non-thinking models show distinct trends--thinking models excel in empathy and insight, while non-thinking models favor action; (iii) GRPO often yields stable gains, while PPO can push certain capabilities to a higher ceiling; (iv) More challenging environments are not always better-moderate ones can yield stronger outcomes. Our results show that RLVER is a practical route toward emotionally intelligent and broadly capable language agents.

RLVER: Aprendizaje por Refuerzo con Recompensas de Emoción Verificables para Agentes Empáticos

RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents

Resumen

Support