A Autoavaliação Já Existe: Obtendo a Calibração de Juiz Latente em LLMs Base com Dados Mínimos

Resumo

Grandes modelos de linguagem são cada vez mais avaliados por outros modelos, o que levanta uma questão natural: um modelo pode prever como um juiz pontuará sua própria saída? Descobrimos que essa capacidade está amplamente presente antes de qualquer treinamento direcionado: quando estimulado com poucos exemplos, um modelo base já prevê as pontuações de qualidade multi-atributo de um juiz externo para respostas abertas muito acima do acaso em três benchmarks. Apresentamos a Elicitação de Autoavaliação (SEE), um método que traz à tona essa capacidade latente por meio de um ciclo curto que compreende uma fase de aprendizado por reforço acoplado à calibração, que melhora a resposta e prevê o juiz, seguida por uma fase de destilação mascarada, que aprimora a previsão sem alterar a resposta. A partir de 160 exemplos únicos, aproximadamente 31 vezes menos do que uma linha de base de aprendizado por reforço, o SEE melhora a calibração fora da amostra em três benchmarks, preservando a qualidade da resposta. A autoavaliação elicitada está nitidamente localizada dentro da própria distribuição de tokens do modelo e é estável entre juízes com os quais nunca foi treinada, indicando uma noção transferível de qualidade, em vez de uma preferência de um único juiz. Esses resultados reformulam a autoavaliação alinhada ao juiz como um problema de elicitação, em vez de aquisição.

English

Large language models are increasingly evaluated by other models, raising a natural question: can a model predict how a judge will score its own output? We find that the ability is largely present before any targeted training: prompted few-shot, a base model already predicts an external judge's multi-attribute quality scores on open-ended responses well above chance across three benchmarks. We introduce Self-Evaluation Elicitation (SEE), a method that surfaces this latent ability through a short cycle comprising a calibration-coupled reinforcement learning phase that improves the answer and predicts the judge, followed by a masked distillation phase that sharpens the prediction while leaving the answer untouched. From 160 unique examples, roughly 31x fewer than a reinforcement learning baseline, SEE improves held-out calibration across three benchmarks while preserving answer quality. The elicited self-evaluation is sharply localized within the model's own token distribution and stable across judges it was never trained against, indicating a transferable notion of quality rather than a single judge's preference. These results reframe judge-aligned self-evaluation as a problem of elicitation rather than acquisition.