Themis: Treinando Modelos Robustos de Recompensa de Código Multilíngue para Pontuação Flexível com Múltiplos Critérios

Resumo

Os modelos de recompensa (RMs) tornaram-se um componente indispensável no processo de pós-treinamento de modelos de linguagem (LM), permitindo o alinhamento de políticas e a escalabilidade em tempo de teste. No entanto, a pesquisa sobre a aplicação de RMs na geração de código tem sido comparativamente escassa, com os trabalhos existentes focando-se maioritariamente em *feedback* de execução. Esta escolha restringe o pós-treinamento à otimização da correção funcional em código executável autónomo. Neste trabalho, examinamos o treino e a avaliação de RMs de código multilingues e multicritério. Para tal, começamos por compilar o **Themis-CodeRewardBench**, um *benchmark* para avaliar RMs de código em cinco dimensões de preferência (ou seja, critérios) e oito linguagens de programação, no qual analisamos mais de 50 RMs de código, matemáticos e de propósito geral. Observando a proficiência limitada dos RMs atuais para além da pontuação da correção funcional, desenvolvemos o **Themis-CodePreference**, a maior coleção de código aberto de preferências de código até à data (mais de 350 mil pares de preferências), e usamo-la para treinar o **Themis-RM**, um conjunto de modelos de recompensa de código multilingues para pontuação multicritério flexível, variando em tamanho de 600M a 32B de parâmetros. As nossas experiências e *ablation studies* demonstram tendências positivas de escalabilidade, forte transferência cross-lingual quando treinados com preferências diversificadas, e a importância do treino multicritério para uma modelação de recompensa de código fiável.

English

Reward models (RMs) have become an indispensable fixture of the language model (LM) post-training playbook, enabling policy alignment and test-time scaling. Research on the application of RMs in code generation, however, has been comparatively sparse, with existing work largely focusing on execution feedback. This choice constrains post-training to optimizing functional correctness over self-contained executable code. In this work, we examine the training and evaluation of multilingual, multi-criteria code RMs. To this end, we first compile Themis-CodeRewardBench, a benchmark to evaluate code RMs across five preference dimensions (i.e., criteria) and eight programming languages, on which we profile 50+ code, math, and general-purpose RMs. Observing the limited proficiency of current RMs beyond scoring for functional correctness, we develop Themis-CodePreference, the largest open-source collection of code preferences to date (more than 350k preference pairs), and use it to train Themis-RM, a suite of multilingual code reward models for flexible multi-criteria scoring, ranging in size from 600M to 32B parameters. Our experiments and ablations demonstrate positive scaling trends, strong cross-lingual transfer when training on diverse preferences, and the importance of multi-criteria training for reliable code reward modeling.