RLVER: Обучение с подкреплением с верифицируемыми эмоциональными вознаграждениями для эмпатичных агентов

Аннотация

Крупные языковые модели (LLM) демонстрируют выдающиеся способности в логическом и алгоритмическом мышлении, однако их эмоциональный интеллект (EQ) значительно отстает от их когнитивных возможностей. Хотя обучение с подкреплением на основе проверяемых наград (RLVR) продвинулось в других областях, его применение в диалогах, особенно для развития эмоционального интеллекта, остается малоизученным. В данной работе мы представляем RLVER — первую сквозную систему обучения с подкреплением, которая использует проверяемые эмоциональные награды от симулированных пользователей для развития высших эмпатических способностей в LLM. В рамках этой системы самосогласованные аффективные симулированные пользователи участвуют в диалогах и генерируют детерминированные эмоциональные оценки в ходе бесед, которые служат сигналами награды для обучения модели. Тонкая настройка общедоступной модели Qwen2.5-7B-Instruct с использованием PPO повышает её оценку на Sentient-Benchmark с 13.3 до 79.2, при этом в значительной степени сохраняя математические и программистские способности. Многочисленные эксперименты показывают, что: (i) RLVER последовательно улучшает множество диалоговых навыков; (ii) Модели с мышлением и без него демонстрируют различные тенденции — модели с мышлением преуспевают в эмпатии и инсайтах, тогда как модели без мышления склонны к действиям; (iii) GRPO часто обеспечивает стабильные улучшения, в то время как PPO может выводить определенные способности на более высокий уровень; (iv) Более сложные среды не всегда лучше — умеренные условия могут давать более сильные результаты. Наши результаты демонстрируют, что RLVER представляет собой практичный путь к созданию эмоционально интеллектуальных и универсально способных языковых агентов.

English

Large language models (LLMs) excel at logical and algorithmic reasoning, yet their emotional intelligence (EQ) still lags far behind their cognitive prowess. While reinforcement learning from verifiable rewards (RLVR) has advanced in other domains, its application to dialogue-especially for emotional intelligence-remains underexplored. In this work, we introduce RLVER, the first end-to-end reinforcement learning framework that leverages verifiable emotion rewards from simulated users to cultivate higher-order empathetic abilities in LLMs. Within this framework, self-consistent affective simulated users engage in dialogue rollouts and produce deterministic emotion scores during conversations, serving as reward signals to guide the LLM's learning. Fine-tuning publicly available Qwen2.5-7B-Instruct model with PPO boosts its Sentient-Benchmark score from 13.3 to 79.2 while largely preserving mathematical and coding competence. Extensive experiments reveal that: (i) RLVER consistently improves multiple dialogue capabilities; (ii) Thinking and non-thinking models show distinct trends--thinking models excel in empathy and insight, while non-thinking models favor action; (iii) GRPO often yields stable gains, while PPO can push certain capabilities to a higher ceiling; (iv) More challenging environments are not always better-moderate ones can yield stronger outcomes. Our results show that RLVER is a practical route toward emotionally intelligent and broadly capable language agents.

RLVER: Обучение с подкреплением с верифицируемыми эмоциональными вознаграждениями для эмпатичных агентов

RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents

Аннотация

Support