WildReward: Aprendendo Modelos de Recompensa a partir de Interações Humanas em Ambientes Naturais

WildReward: Learning Reward Models from In-the-Wild Human Interactions

February 9, 2026

Autores: Hao Peng, Yunjia Qi, Xiaozhi Wang, Zijun Yao, Lei Hou, Juanzi Li

cs.AI

Resumo

Os modelos de recompensa (RMs) são cruciais para o treinamento de grandes modelos de linguagem (LLMs), mas normalmente dependem de pares de preferência anotados em larga escala por humanos. Com a implantação generalizada dos LLMs, as interações no ambiente real emergiram como uma fonte rica de sinais implícitos de recompensa. Isso levanta a questão: Podemos desenvolver modelos de recompensa diretamente a partir de interações no ambiente real? Neste trabalho, exploramos essa possibilidade adotando o WildChat como fonte de interação e propondo um pipeline para extrair feedback humano confiável, obtendo 186 mil instâncias de alta qualidade para treinar o WildReward via regressão ordinal diretamente no feedback do usuário, sem pares de preferência. Experimentos extensivos demonstram que o WildReward alcança desempenho comparável ou mesmo superior aos modelos de recompensa convencionais, com melhor calibração e consistência entre amostras. Também observamos que o WildReward beneficia-se diretamente da diversidade de usuários, onde mais usuários produzem modelos de recompensa mais robustos. Por fim, aplicamos o WildReward ao treinamento DPO online e observamos melhorias significativas em várias tarefas. Código e dados estão disponíveis em https://github.com/THU-KEG/WildReward.

English

Reward models (RMs) are crucial for the training of large language models (LLMs), yet they typically rely on large-scale human-annotated preference pairs. With the widespread deployment of LLMs, in-the-wild interactions have emerged as a rich source of implicit reward signals. This raises the question: Can we develop reward models directly from in-the-wild interactions? In this work, we explore this possibility by adopting WildChat as an interaction source and proposing a pipeline to extract reliable human feedback, yielding 186k high-quality instances for training WildReward via ordinal regression directly on user feedback without preference pairs. Extensive experiments demonstrate that WildReward achieves comparable or even superior performance compared to conventional reward models, with improved calibration and cross-sample consistency. We also observe that WildReward benefits directly from user diversity, where more users yield stronger reward models. Finally, we apply WildReward to online DPO training and observe significant improvements across various tasks. Code and data are released at https://github.com/THU-KEG/WildReward.