Aprendizaje por Refuerzo a partir de Meta-Evaluación: Alineando Modelos de Lenguaje Sin Etiquetas de Verdad Fundamental

Reinforcement Learning from Meta-Evaluation: Aligning Language Models Without Ground-Truth Labels

January 29, 2026

Autores: Micah Rentschler, Jesse Roberts

cs.AI

Resumen

La mayoría de los métodos de aprendizaje por refuerzo (RL) para entrenar modelos de lenguaje a gran escala (LLMs) requieren etiquetas de referencia o verificadores específicos de tareas, lo que limita la escalabilidad cuando la corrección es ambigua o costosa de obtener. Introducimos el Aprendizaje por Refuerzo a partir de Meta-Evaluación (RLME), que optimiza un generador utilizando recompensas derivadas de las respuestas de un evaluador a meta-preguntas en lenguaje natural (por ejemplo, "¿Es correcta la respuesta?" o "¿Es lógicamente consistente el razonamiento?"). RLME trata la probabilidad de un juicio positivo por parte del evaluador como una recompensa y actualiza el generador mediante optimización de políticas relativa al grupo, permitiendo el aprendizaje sin etiquetas. A través de un conjunto de experimentos, demostramos que RLME logra una precisión y eficiencia muestral comparables al entrenamiento basado en etiquetas, permite compensaciones controlables entre múltiples objetivos, dirige los modelos hacia patrones de razonamiento confiables en lugar de racionalizaciones a posteriori, y se generaliza a entornos de dominio abierto donde las etiquetas de referencia no están disponibles, ampliando así los dominios en los que los LLMs pueden ser entrenados con RL.

English

Most reinforcement learning (RL) methods for training large language models (LLMs) require ground-truth labels or task-specific verifiers, limiting scalability when correctness is ambiguous or expensive to obtain. We introduce Reinforcement Learning from Meta-Evaluation (RLME), which optimizes a generator using reward derived from an evaluator's answers to natural-language meta-questions (e.g., "Is the answer correct?" or "Is the reasoning logically consistent?"). RLME treats the evaluator's probability of a positive judgment as a reward and updates the generator via group-relative policy optimization, enabling learning without labels. Across a suite of experiments, we show that RLME achieves accuracy and sample efficiency comparable to label-based training, enables controllable trade-offs among multiple objectives, steers models toward reliable reasoning patterns rather than post-hoc rationalization, and generalizes to open-domain settings where ground-truth labels are unavailable, broadening the domains in which LLMs may be trained with RL.