У каждого вопроса своя ценность: обучение с подкреплением с учетом явных человеческих ценностей

Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values

October 23, 2025

Авторы: Dian Yu, Yulai Zhao, Kishan Panaganti, Linfeng Song, Haitao Mi, Dong Yu

cs.AI

Аннотация

Мы предлагаем метод Обучения с Подкреплением с Явными Человеческими Ценностями (RLEV), который выравнивает оптимизацию больших языковых моделей (LLM) непосредственно по количественным сигналам человеческих ценностей. В то время как Обучение с Подкреплением с Верифицируемыми Вознаграждениями (RLVR) эффективно обучает модели в объективных областях, используя бинарные вознаграждения за правильность, оно упускает из виду, что не все задачи одинаково значимы. RLEV расширяет эту структуру, напрямую включая человеко-определенные ценностные сигналы в функцию вознаграждения. Используя экзаменационные данные с явными эталонными ценностными метками, RLEV стабильно превосходит базовые методы, учитывающие только правильность, на множестве алгоритмов обучения с подкреплением и масштабов моделей. Ключевым моментом является то, что политики RLEV не только улучшают взвешенную по ценности точность, но и изучают ценностно-чувствительную политику завершения: кратки для низкоценных промптов и тщательны для высокоценных. Мы показываем, что это поведение проистекает из ценностно-взвешенного усиления градиента на токенах конца последовательности. Абляционные исследования подтверждают, что выигрыш причинно связан с ценностным выравниванием. RLEV сохраняет устойчивость при зашумленных ценностных сигналах, таких как метки, основанные на сложности, демонстрируя, что оптимизация по явной функции полезности предлагает практический путь для согласования LLM с человеческими приоритетами.

English

We propose Reinforcement Learning with Explicit Human Values (RLEV), a method that aligns Large Language Model (LLM) optimization directly with quantifiable human value signals. While Reinforcement Learning with Verifiable Rewards (RLVR) effectively trains models in objective domains using binary correctness rewards, it overlooks that not all tasks are equally significant. RLEV extends this framework by incorporating human-defined value signals directly into the reward function. Using exam-style data with explicit ground-truth value labels, RLEV consistently outperforms correctness-only baselines across multiple RL algorithms and model scales. Crucially, RLEV policies not only improve value-weighted accuracy but also learn a value-sensitive termination policy: concise for low-value prompts, thorough for high-value ones. We demonstrate this behavior stems from value-weighted gradient amplification on end-of-sequence tokens. Ablation studies confirm the gain is causally linked to value alignment. RLEV remains robust under noisy value signals, such as difficulty-based labels, demonstrating that optimizing for an explicit utility function offers a practical path to aligning LLMs with human priorities.