Ogni Domanda Ha il Suo Valore: Apprendimento per Rinforzo con Valori Umani Espliciti

Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values

October 23, 2025

Autori: Dian Yu, Yulai Zhao, Kishan Panaganti, Linfeng Song, Haitao Mi, Dong Yu

cs.AI

Abstract

Proponiamo Reinforcement Learning with Explicit Human Values (RLEV), un metodo che allinea l'ottimizzazione dei Large Language Model (LLM) direttamente con segnali quantificabili di valore umano. Sebbene il Reinforcement Learning with Verifiable Rewards (RLVR) addestri efficacemente i modelli in domini oggettivi utilizzando ricompense binarie di correttezza, esso trascura il fatto che non tutti i compiti sono ugualmente significativi. RLEV estende questo framework incorporando direttamente nella funzione di ricompensa segnali di valore definiti dall'uomo. Utilizzando dati in stile esame con etichette di valore ground-truth esplicite, RLEV supera costantemente i baseline basati solo sulla correttezza attraverso molteplici algoritmi di RL e scale di modelli. Crucialmente, le politiche di RLEV non solo migliorano l'accuratezza ponderata per il valore, ma apprendono anche una politica di terminazione sensibile al valore: concisa per prompt di basso valore, approfondita per quelli di alto valore. Dimostriamo che questo comportamento deriva dall'amplificazione del gradiente ponderato per il valore sui token di fine sequenza. Studi di ablazione confermano che il miglioramento è causalmente legato all'allineamento del valore. RLEV rimane robusto con segnali di valore rumorosi, come etichette basate sulla difficoltà, dimostrando che l'ottimizzazione per una funzione di utilità esplicita offre un percorso pratico per allineare i LLM con le priorità umane.

English

We propose Reinforcement Learning with Explicit Human Values (RLEV), a method that aligns Large Language Model (LLM) optimization directly with quantifiable human value signals. While Reinforcement Learning with Verifiable Rewards (RLVR) effectively trains models in objective domains using binary correctness rewards, it overlooks that not all tasks are equally significant. RLEV extends this framework by incorporating human-defined value signals directly into the reward function. Using exam-style data with explicit ground-truth value labels, RLEV consistently outperforms correctness-only baselines across multiple RL algorithms and model scales. Crucially, RLEV policies not only improve value-weighted accuracy but also learn a value-sensitive termination policy: concise for low-value prompts, thorough for high-value ones. We demonstrate this behavior stems from value-weighted gradient amplification on end-of-sequence tokens. Ablation studies confirm the gain is causally linked to value alignment. RLEV remains robust under noisy value signals, such as difficulty-based labels, demonstrating that optimizing for an explicit utility function offers a practical path to aligning LLMs with human priorities.