Cada Pregunta Tiene Su Propio Valor: Aprendizaje por Refuerzo con Valores Humanos Explícitos

Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values

October 23, 2025

Autores: Dian Yu, Yulai Zhao, Kishan Panaganti, Linfeng Song, Haitao Mi, Dong Yu

cs.AI

Resumen

Proponemos Aprendizaje por Refuerzo con Valores Humanos Explícitos (RLEV), un método que alinea la optimización de Modelos de Lenguaje a Gran Escala (LLM) directamente con señales cuantificables de valores humanos. Si bien el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) entrena eficazmente modelos en dominios objetivos utilizando recompensas binarias de corrección, pasa por alto que no todas las tareas son igualmente significativas. RLEV extiende este marco incorporando señales de valor definidas por humanos directamente en la función de recompensa. Utilizando datos de tipo examen con etiquetas de valor explícitas de referencia, RLEV supera consistentemente a los baselines que solo consideran la corrección en múltiples algoritmos de RL y escalas de modelos. Crucialmente, las políticas de RLEV no solo mejoran la precisión ponderada por valor, sino que también aprenden una política de terminación sensible al valor: concisa para instrucciones de bajo valor y exhaustiva para las de alto valor. Demostramos que este comportamiento surge de la amplificación del gradiente ponderado por valor en los tokens de fin de secuencia. Estudios de ablación confirman que la ganancia está causalmente vinculada a la alineación de valores. RLEV se mantiene robusto bajo señales de valor ruidosas, como etiquetas basadas en dificultad, lo que demuestra que optimizar para una función de utilidad explícita ofrece un camino práctico para alinear los LLM con las prioridades humanas.

English

We propose Reinforcement Learning with Explicit Human Values (RLEV), a method that aligns Large Language Model (LLM) optimization directly with quantifiable human value signals. While Reinforcement Learning with Verifiable Rewards (RLVR) effectively trains models in objective domains using binary correctness rewards, it overlooks that not all tasks are equally significant. RLEV extends this framework by incorporating human-defined value signals directly into the reward function. Using exam-style data with explicit ground-truth value labels, RLEV consistently outperforms correctness-only baselines across multiple RL algorithms and model scales. Crucially, RLEV policies not only improve value-weighted accuracy but also learn a value-sensitive termination policy: concise for low-value prompts, thorough for high-value ones. We demonstrate this behavior stems from value-weighted gradient amplification on end-of-sequence tokens. Ablation studies confirm the gain is causally linked to value alignment. RLEV remains robust under noisy value signals, such as difficulty-based labels, demonstrating that optimizing for an explicit utility function offers a practical path to aligning LLMs with human priorities.