Jede Frage hat ihren eigenen Wert: Bestärkendes Lernen mit expliziten menschlichen Werten

Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values

October 23, 2025

papers.authors: Dian Yu, Yulai Zhao, Kishan Panaganti, Linfeng Song, Haitao Mi, Dong Yu

cs.AI

papers.abstract

Wir schlagen Reinforcement Learning with Explicit Human Values (RLEV) vor, eine Methode, die die Optimierung von Large Language Models (LLM) direkt mit quantifizierbaren menschlichen Wertesignalen in Einklang bringt. Während Reinforcement Learning with Verifiable Rewards (RLVR) Modelle in objektiven Domänen effektiv mit binären Korrektheitsbelohnungen trainiert, übersieht es, dass nicht alle Aufgaben gleich bedeutend sind. RLEV erweitert diesen Rahmen, indem es menschlich definierte Wertesignale direkt in die Belohnungsfunktion integriert. Unter Verwendung von prüfungsähnlichen Daten mit expliziten Ground-Truth-Wertelabels übertrifft RLEV durchgängig Korrektheits-Baselines über mehrere RL-Algorithmen und Modellgrößen hinweg. Entscheidend ist, dass RLEV-Policys nicht nur die wertgewichtete Genauigkeit verbessern, sondern auch eine wertempfindliche Abschlussrichtlinie erlernen: knapp für Prompts mit niedrigem Wert, gründlich für solche mit hohem Wert. Wir zeigen, dass dieses Verhalten von einer wertgewichteten Gradientenverstärkung auf End-of-Sequence-Tokens herrührt. Ablationsstudien bestätigen, dass der Gewinn kausal mit der Wertausrichtung verknüpft ist. RLEV bleibt robust unter verrauschten Wertesignalen, wie z.B. schwierigkeitsbasierten Labels, was demonstriert, dass die Optimierung für eine explizite Nutzenfunktion einen praktischen Weg bietet, um LLMs mit menschlichen Prioritäten in Einklang zu bringen.

English

We propose Reinforcement Learning with Explicit Human Values (RLEV), a method that aligns Large Language Model (LLM) optimization directly with quantifiable human value signals. While Reinforcement Learning with Verifiable Rewards (RLVR) effectively trains models in objective domains using binary correctness rewards, it overlooks that not all tasks are equally significant. RLEV extends this framework by incorporating human-defined value signals directly into the reward function. Using exam-style data with explicit ground-truth value labels, RLEV consistently outperforms correctness-only baselines across multiple RL algorithms and model scales. Crucially, RLEV policies not only improve value-weighted accuracy but also learn a value-sensitive termination policy: concise for low-value prompts, thorough for high-value ones. We demonstrate this behavior stems from value-weighted gradient amplification on end-of-sequence tokens. Ablation studies confirm the gain is causally linked to value alignment. RLEV remains robust under noisy value signals, such as difficulty-based labels, demonstrating that optimizing for an explicit utility function offers a practical path to aligning LLMs with human priorities.