RLVER: Aprendizado por Reforço com Recompensas de Emoção Verificáveis para Agentes Empáticos

Resumo

Modelos de linguagem de grande escala (LLMs) se destacam no raciocínio lógico e algorítmico, mas sua inteligência emocional (EQ) ainda está muito aquém de sua capacidade cognitiva. Embora o aprendizado por reforço com recompensas verificáveis (RLVR) tenha avançado em outros domínios, sua aplicação em diálogos—especialmente para inteligência emocional—ainda é pouco explorada. Neste trabalho, introduzimos o RLVER, o primeiro framework de aprendizado por reforço de ponta a ponta que aproveita recompensas emocionais verificáveis de usuários simulados para cultivar habilidades empáticas de ordem superior em LLMs. Dentro desse framework, usuários simulados afetivos e autoconsistentes participam de diálogos e produzem pontuações emocionais determinísticas durante as conversas, servindo como sinais de recompensa para guiar o aprendizado do LLM. O ajuste fino do modelo Qwen2.5-7B-Instruct, disponível publicamente, com PPO aumenta sua pontuação no Sentient-Benchmark de 13,3 para 79,2, preservando amplamente a competência matemática e de codificação. Experimentos extensivos revelam que: (i) o RLVER melhora consistentemente múltiplas capacidades de diálogo; (ii) Modelos pensantes e não pensantes mostram tendências distintas—modelos pensantes se destacam em empatia e insight, enquanto modelos não pensantes favorecem ação; (iii) O GRPO frequentemente produz ganhos estáveis, enquanto o PPO pode elevar certas capacidades a um patamar mais alto; (iv) Ambientes mais desafiadores nem sempre são melhores—ambientes moderados podem gerar resultados mais robustos. Nossos resultados mostram que o RLVER é uma rota prática para agentes de linguagem emocionalmente inteligentes e amplamente capazes.

English

Large language models (LLMs) excel at logical and algorithmic reasoning, yet their emotional intelligence (EQ) still lags far behind their cognitive prowess. While reinforcement learning from verifiable rewards (RLVR) has advanced in other domains, its application to dialogue-especially for emotional intelligence-remains underexplored. In this work, we introduce RLVER, the first end-to-end reinforcement learning framework that leverages verifiable emotion rewards from simulated users to cultivate higher-order empathetic abilities in LLMs. Within this framework, self-consistent affective simulated users engage in dialogue rollouts and produce deterministic emotion scores during conversations, serving as reward signals to guide the LLM's learning. Fine-tuning publicly available Qwen2.5-7B-Instruct model with PPO boosts its Sentient-Benchmark score from 13.3 to 79.2 while largely preserving mathematical and coding competence. Extensive experiments reveal that: (i) RLVER consistently improves multiple dialogue capabilities; (ii) Thinking and non-thinking models show distinct trends--thinking models excel in empathy and insight, while non-thinking models favor action; (iii) GRPO often yields stable gains, while PPO can push certain capabilities to a higher ceiling; (iv) More challenging environments are not always better-moderate ones can yield stronger outcomes. Our results show that RLVER is a practical route toward emotionally intelligent and broadly capable language agents.

RLVER: Aprendizado por Reforço com Recompensas de Emoção Verificáveis para Agentes Empáticos

RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents

Resumo

Support