Cada Pergunta Tem o Seu Próprio Valor: Aprendizagem por Reforço com Valores Humanos Explícitos

Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values

October 23, 2025

Autores: Dian Yu, Yulai Zhao, Kishan Panaganti, Linfeng Song, Haitao Mi, Dong Yu

cs.AI

Resumo

Propomos o Aprendizado por Reforço com Valores Humanos Explícitos (RLEV), um método que alinha a otimização de Modelos de Linguagem de Grande Porte (LLMs) diretamente com sinais quantificáveis de valor humano. Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) treine modelos eficazmente em domínios objetivos usando recompensas binárias de correção, ele ignora que nem todas as tarefas são igualmente significativas. O RLEV estende esta estrutura incorporando sinais de valor definidos por humanos diretamente na função de recompensa. Utilizando dados no estilo de exames com rótulos de valor explícitos e de referência, o RLEV supera consistentemente as linhas de base baseadas apenas em correção em múltiplos algoritmos de RL e escalas de modelo. Crucialmente, as políticas do RLEV não apenas melhoram a precisão ponderada por valor, mas também aprendem uma política de terminação sensível ao valor: concisa para solicitações de baixo valor e detalhada para as de alto valor. Demonstramos que este comportamento deriva da amplificação do gradiente ponderado por valor nos tokens de fim de sequência. Estudos de ablação confirmam que o ganho está causalmente ligado ao alinhamento de valor. O RLEV mantém-se robusto sob sinais de valor ruidosos, como rótulos baseados em dificuldade, demonstrando que otimizar para uma função de utilidade explícita oferece um caminho prático para alinhar LLMs com as prioridades humanas.

English

We propose Reinforcement Learning with Explicit Human Values (RLEV), a method that aligns Large Language Model (LLM) optimization directly with quantifiable human value signals. While Reinforcement Learning with Verifiable Rewards (RLVR) effectively trains models in objective domains using binary correctness rewards, it overlooks that not all tasks are equally significant. RLEV extends this framework by incorporating human-defined value signals directly into the reward function. Using exam-style data with explicit ground-truth value labels, RLEV consistently outperforms correctness-only baselines across multiple RL algorithms and model scales. Crucially, RLEV policies not only improve value-weighted accuracy but also learn a value-sensitive termination policy: concise for low-value prompts, thorough for high-value ones. We demonstrate this behavior stems from value-weighted gradient amplification on end-of-sequence tokens. Ablation studies confirm the gain is causally linked to value alignment. RLEV remains robust under noisy value signals, such as difficulty-based labels, demonstrating that optimizing for an explicit utility function offers a practical path to aligning LLMs with human priorities.