RLVER: Apprendimento per Rinforzo con Ricompense Emotive Verificabili per Agenti Empatici

Abstract

I grandi modelli linguistici (LLM) eccellono nel ragionamento logico e algoritmico, ma la loro intelligenza emotiva (EQ) rimane ancora molto indietro rispetto alle loro capacità cognitive. Sebbene l'apprendimento per rinforzo basato su ricompense verificabili (RLVR) abbia fatto progressi in altri ambiti, la sua applicazione al dialogo - specialmente per l'intelligenza emotiva - rimane poco esplorata. In questo lavoro, introduciamo RLVER, il primo framework end-to-end di apprendimento per rinforzo che sfrutta ricompense emotive verificabili da utenti simulati per coltivare capacità empatiche di ordine superiore nei LLM. All'interno di questo framework, utenti simulati affettivamente coerenti partecipano a dialoghi e producono punteggi emotivi deterministici durante le conversazioni, servendo come segnali di ricompensa per guidare l'apprendimento del LLM. Il fine-tuning del modello Qwen2.5-7B-Instruct disponibile pubblicamente con PPO aumenta il suo punteggio Sentient-Benchmark da 13.3 a 79.2, preservando in gran parte le competenze matematiche e di programmazione. Esperimenti estensivi rivelano che: (i) RLVER migliora costantemente multiple capacità dialogiche; (ii) I modelli pensanti e non pensanti mostrano tendenze distinte - i modelli pensanti eccellono in empatia e intuizione, mentre i modelli non pensanti favoriscono l'azione; (iii) GRPO spesso produce guadagni stabili, mentre PPO può spingere certe capacità a un livello più alto; (iv) Ambienti più impegnativi non sono sempre migliori - quelli moderati possono produrre risultati più forti. I nostri risultati dimostrano che RLVER è una via pratica verso agenti linguistici emotivamente intelligenti e ampiamente capaci.

English

Large language models (LLMs) excel at logical and algorithmic reasoning, yet their emotional intelligence (EQ) still lags far behind their cognitive prowess. While reinforcement learning from verifiable rewards (RLVR) has advanced in other domains, its application to dialogue-especially for emotional intelligence-remains underexplored. In this work, we introduce RLVER, the first end-to-end reinforcement learning framework that leverages verifiable emotion rewards from simulated users to cultivate higher-order empathetic abilities in LLMs. Within this framework, self-consistent affective simulated users engage in dialogue rollouts and produce deterministic emotion scores during conversations, serving as reward signals to guide the LLM's learning. Fine-tuning publicly available Qwen2.5-7B-Instruct model with PPO boosts its Sentient-Benchmark score from 13.3 to 79.2 while largely preserving mathematical and coding competence. Extensive experiments reveal that: (i) RLVER consistently improves multiple dialogue capabilities; (ii) Thinking and non-thinking models show distinct trends--thinking models excel in empathy and insight, while non-thinking models favor action; (iii) GRPO often yields stable gains, while PPO can push certain capabilities to a higher ceiling; (iv) More challenging environments are not always better-moderate ones can yield stronger outcomes. Our results show that RLVER is a practical route toward emotionally intelligent and broadly capable language agents.

RLVER: Apprendimento per Rinforzo con Ricompense Emotive Verificabili per Agenti Empatici

RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents

Abstract

Support