Hacking de Recompensa em Aprendizagem por Reforço Baseada em Rubricas

Resumo

Aprendizado por reforço com recompensas verificáveis permitiu ganhos significativos de pós-treinamento em domínios como matemática e programação, embora muitos cenários de final aberto dependam de recompensas baseadas em rubricas. Estudamos o hacking de recompensa em RL baseado em rubrica, onde uma política é otimizada em relação a um verificador de treinamento, mas avaliada em relação a um painel de três juízes de fronteira de famílias diferentes, reduzindo a dependência de um único avaliador. Nosso framework separa duas fontes de divergência: falha do verificador, onde o verificador de treinamento atribui crédito a critérios de rubrica que verificadores de referência rejeitam; e limitações do design da rubrica, onde mesmo verificadores fortes baseados em rubrica favorecem respostas que juízes sem rubrica avaliam como piores no geral. Nos domínios médico e científico, verificadores fracos produzem grandes ganhos de recompensa proxy que não se transferem para os verificadores de referência; a exploração cresce ao longo do treinamento e se concentra em falhas recorrentes, como satisfação parcial de critérios compostos, tratamento de conteúdo implícito como explícito e correspondência temática imprecisa. Verificadores mais fortes reduzem substancialmente, mas não eliminam, a exploração do verificador. Também introduzimos uma lacuna de auto-internalização, um diagnóstico livre de verificador baseado nas log-probabilidades da política, que monitora a qualidade do verificador de referência, detectando quando a política treinada com o verificador fraco para de melhorar. Finalmente, em nosso contexto, uma verificação mais forte não impede o hacking de recompensa quando a rubrica deixa modos de falha importantes não especificados: os verificadores baseados em rubrica preferem o checkpoint de RL, enquanto os juízes sem rubrica preferem o modelo base. Essas discordâncias coincidem com ganhos concentrados em critérios de completude e presença, juntamente com declínios na correção factual, concisão, relevância e qualidade geral. Em conjunto, esses resultados sugerem que uma verificação mais forte reduz o hacking de recompensa, mas não garante, por si só, que ganhos de rubrica correspondam a ganhos mais amplos de qualidade.

English

Reinforcement learning with verifiable rewards has enabled strong post-training gains in domains such as math and coding, though many open-ended settings rely on rubric-based rewards. We study reward hacking in rubric-based RL, where a policy is optimized against a training verifier but evaluated against a cross-family panel of three frontier judges, reducing dependence on any single evaluator. Our framework separates two sources of divergence: verifier failure, where the training verifier credits rubric criteria that reference verifiers reject, and rubric-design limitations, where even strong rubric-based verifiers favor responses that rubric-free judges rate worse overall. Across medical and science domains, weak verifiers produce large proxy-reward gains that do not transfer to the reference verifiers; exploitation grows over training and concentrates in recurring failures such as partial satisfaction of compound criteria, treating implicit content as explicit, and imprecise topical matching. Stronger verifiers substantially reduce, but do not eliminate, verifier exploitation. We also introduce a self-internalization gap, a verifier-free diagnostic based on policy log-probabilities, which tracks reference-verifier quality, detecting when the policy trained using the weak verifier stops improving. Finally, in our setting, stronger verification does not prevent reward hacking when the rubric leaves important failure modes unspecified: rubric-based verifiers prefer the RL checkpoint, while rubric-free judges prefer the base model. These disagreements coincide with gains concentrated in completeness and presence-based criteria, alongside declines in factual correctness, conciseness, relevance, and overall quality. Together, these results suggest that stronger verification reduces reward hacking, but does not by itself ensure that rubric gains correspond to broader quality gains.