Elke Vraag Heeft Zijn Eigen Waarde: Reinforcement Learning met Expliciete Menselijke Waarden

Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values

October 23, 2025

Auteurs: Dian Yu, Yulai Zhao, Kishan Panaganti, Linfeng Song, Haitao Mi, Dong Yu

cs.AI

Samenvatting

Wij presenteren Reinforcement Learning with Explicit Human Values (RLEV), een methode die de optimalisatie van Large Language Models (LLM) direct afstemt op kwantificeerbare menselijke waardesignalen. Hoewel Reinforcement Learning with Verifiable Rewards (RLVR) modellen effectief traint in objectieve domeinen met behulp van binaire correctheidsbeloningen, houdt het geen rekening met het feit dat niet alle taken even belangrijk zijn. RLEV breidt dit raamwerk uit door menselijk gedefinieerde waardesignalen direct in de beloningsfunctie te integreren. Gebruikmakend van examenachtige data met expliciete ground-truth waardelabels, presteert RLEV consistent beter dan uitsluitend op correctheid gebaseerde basislijnen over meerdere RL-algoritmen en modelschalen. Cruciaal is dat RLEV-beleid niet alleen de waardegedragen nauwkeurigheid verbetert, maar ook een waardegevoelig beëindigingsbeleid aanleert: beknopt voor prompts met lage waarde, grondig voor prompts met hoge waarde. Wij tonen aan dat dit gedrag voortkomt uit waardegedragen gradiëntversterking op end-of-sequence tokens. Ablatiestudies bevestigen dat de winnt causaal verband houdt met waarde-afstemming. RLEV blijft robuust onder ruisende waardesignalen, zoals op moeilijkheidsgraad gebaseerde labels, wat aantoont dat optimaliseren voor een expliciete nutsfunctie een praktische weg biedt om LLM's af te stemmen op menselijke prioriteiten.

English

We propose Reinforcement Learning with Explicit Human Values (RLEV), a method that aligns Large Language Model (LLM) optimization directly with quantifiable human value signals. While Reinforcement Learning with Verifiable Rewards (RLVR) effectively trains models in objective domains using binary correctness rewards, it overlooks that not all tasks are equally significant. RLEV extends this framework by incorporating human-defined value signals directly into the reward function. Using exam-style data with explicit ground-truth value labels, RLEV consistently outperforms correctness-only baselines across multiple RL algorithms and model scales. Crucially, RLEV policies not only improve value-weighted accuracy but also learn a value-sensitive termination policy: concise for low-value prompts, thorough for high-value ones. We demonstrate this behavior stems from value-weighted gradient amplification on end-of-sequence tokens. Ablation studies confirm the gain is causally linked to value alignment. RLEV remains robust under noisy value signals, such as difficulty-based labels, demonstrating that optimizing for an explicit utility function offers a practical path to aligning LLMs with human priorities.