Aprendizado por Reforço a partir de Meta-Avaliação: Alinhando Modelos de Linguagem sem Rótulos de Verdade Terrestre

Reinforcement Learning from Meta-Evaluation: Aligning Language Models Without Ground-Truth Labels

January 29, 2026

Autores: Micah Rentschler, Jesse Roberts

cs.AI

Resumo

A maioria dos métodos de aprendizagem por reforço (RL) para treinar grandes modelos de linguagem (LLMs) requer rótulos de verdade fundamental (ground-truth) ou verificadores específicos para cada tarefa, limitando a escalabilidade quando a correção é ambígua ou cara de se obter. Introduzimos a Aprendizagem por Reforço a partir de Meta-Avaliação (RLME), que otimiza um gerador usando recompensas derivadas das respostas de um avaliador a metaquestões em linguagem natural (por exemplo, "A resposta está correta?" ou "O raciocínio é logicamente consistente?"). O RLME trata a probabilidade de um julgamento positivo por parte do avaliador como uma recompensa e atualiza o gerador via otimização de política relativa ao grupo, permitindo o aprendizado sem rótulos. Em uma série de experimentos, mostramos que o RLME alcança precisão e eficiência amostral comparáveis ao treinamento baseado em rótulos, permite trade-offs controláveis entre múltiplos objetivos, direciona os modelos para padrões de raciocínio confiáveis em vez de racionalização post-hoc, e generaliza para configurações de domínio aberto onde rótulos de verdade fundamental não estão disponíveis, ampliando os domínios nos quais os LLMs podem ser treinados com RL.

English

Most reinforcement learning (RL) methods for training large language models (LLMs) require ground-truth labels or task-specific verifiers, limiting scalability when correctness is ambiguous or expensive to obtain. We introduce Reinforcement Learning from Meta-Evaluation (RLME), which optimizes a generator using reward derived from an evaluator's answers to natural-language meta-questions (e.g., "Is the answer correct?" or "Is the reasoning logically consistent?"). RLME treats the evaluator's probability of a positive judgment as a reward and updates the generator via group-relative policy optimization, enabling learning without labels. Across a suite of experiments, we show that RLME achieves accuracy and sample efficiency comparable to label-based training, enables controllable trade-offs among multiple objectives, steers models toward reliable reasoning patterns rather than post-hoc rationalization, and generalizes to open-domain settings where ground-truth labels are unavailable, broadening the domains in which LLMs may be trained with RL.