Repensando Modelos de Recompensa para Escalonamento em Múltiplos Domínios durante o Teste

Resumo

A confiabilidade de modelos de linguagem de grande escala (LLMs) durante o escalonamento em tempo de teste é frequentemente avaliada com verificadores externos ou modelos de recompensa que distinguem raciocínio correto de lógica falha. Trabalhos anteriores geralmente assumem que modelos de recompensa de processo (PRMs), que pontuam cada etapa intermediária do raciocínio, superam modelos de recompensa de resultado (ORMs) que avaliam apenas a resposta final. Essa visão é baseada principalmente em evidências de domínios restritos e relacionados à matemática. Apresentamos a primeira avaliação unificada de quatro variantes de modelos de recompensa, ORM e PRM discriminativos (\DisORM, \DisPRM) e ORM e PRM generativos (\GenORM, \GenPRM), em 14 domínios diversos. Contrariamente à sabedoria convencional, descobrimos que (i) \DisORM tem desempenho equivalente ao \DisPRM, (ii) \GenPRM não é competitivo, e (iii) no geral, \GenORM é o mais robusto, proporcionando ganhos significativos e consistentes em todos os domínios testados. Atribuímos isso à pontuação passo a passo do estilo PRM, que herda ruído de rótulos da auto-rotulagem de LLMs e tem dificuldade em avaliar trajetórias longas de raciocínio, incluindo aquelas que envolvem raciocínio de autocorreção. Nossa análise teórica mostra que a agregação passo a passo amplifica erros à medida que o comprimento do raciocínio aumenta, e nossas observações empíricas confirmam esse efeito. Esses achados desafiam a suposição predominante de que supervisão detalhada é sempre melhor e apoiam a verificação generativa de resultados para implantação em múltiplos domínios. Disponibilizamos publicamente nosso código, conjuntos de dados e checkpoints em https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} para facilitar pesquisas futuras em configurações de múltiplos domínios.

English

The reliability of large language models (LLMs) during test-time scaling is often assessed with external verifiers or reward models that distinguish correct reasoning from flawed logic. Prior work generally assumes that process reward models (PRMs), which score every intermediate reasoning step, outperform outcome reward models (ORMs) that assess only the final answer. This view is based mainly on evidence from narrow, math-adjacent domains. We present the first unified evaluation of four reward model variants, discriminative ORM and PRM (\DisORM, \DisPRM) and generative ORM and PRM (\GenORM, \GenPRM), across 14 diverse domains. Contrary to conventional wisdom, we find that (i) \DisORM performs on par with \DisPRM, (ii) \GenPRM is not competitive, and (iii) overall, \GenORM is the most robust, yielding significant and consistent gains across every tested domain. We attribute this to PRM-style stepwise scoring, which inherits label noise from LLM auto-labeling and has difficulty evaluating long reasoning trajectories, including those involving self-correcting reasoning. Our theoretical analysis shows that step-wise aggregation compounds errors as reasoning length grows, and our empirical observations confirm this effect. These findings challenge the prevailing assumption that fine-grained supervision is always better and support generative outcome verification for multi-domain deployment. We publicly release our code, datasets, and checkpoints at https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} to facilitate future research in multi-domain settings.

Repensando Modelos de Recompensa para Escalonamento em Múltiplos Domínios durante o Teste

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Resumo

Support