WildReward : Apprentissage de modèles de récompense à partir d'interactions humaines en conditions réelles

WildReward: Learning Reward Models from In-the-Wild Human Interactions

February 9, 2026

papers.authors: Hao Peng, Yunjia Qi, Xiaozhi Wang, Zijun Yao, Lei Hou, Juanzi Li

cs.AI

papers.abstract

Les modèles de récompense (RMs) sont cruciaux pour l'entraînement des grands modèles de langage (LLMs), mais ils reposent généralement sur de vastes ensembles de paires de préférences annotées manuellement. Avec le déploiement généralisé des LLMs, les interactions en conditions réelles sont devenues une source riche de signaux de récompense implicites. Cela soulève la question : pouvons-nous développer des modèles de récompense directement à partir des interactions en conditions réelles ? Dans ce travail, nous explorons cette possibilité en adoptant WildChat comme source d'interactions et en proposant une pipeline pour extraire des retours humains fiables, produisant 186 000 instances de haute qualité pour entraîner WildReward via une régression ordinale directement sur les retours utilisateurs sans paires de préférences. Des expériences approfondies démontrent que WildReward atteint des performances comparables voire supérieures aux modèles de récompense conventionnels, avec une meilleure calibration et une cohérence inter-échantillons améliorée. Nous observons également que WildReward bénéficie directement de la diversité des utilisateurs, où un plus grand nombre d'utilisateurs produit des modèles de récompense plus performants. Enfin, nous appliquons WildReward à l'entraînement DPO en ligne et observons des améliorations significatives sur diverses tâches. Le code et les données sont disponibles à l'adresse https://github.com/THU-KEG/WildReward.

English

Reward models (RMs) are crucial for the training of large language models (LLMs), yet they typically rely on large-scale human-annotated preference pairs. With the widespread deployment of LLMs, in-the-wild interactions have emerged as a rich source of implicit reward signals. This raises the question: Can we develop reward models directly from in-the-wild interactions? In this work, we explore this possibility by adopting WildChat as an interaction source and proposing a pipeline to extract reliable human feedback, yielding 186k high-quality instances for training WildReward via ordinal regression directly on user feedback without preference pairs. Extensive experiments demonstrate that WildReward achieves comparable or even superior performance compared to conventional reward models, with improved calibration and cross-sample consistency. We also observe that WildReward benefits directly from user diversity, where more users yield stronger reward models. Finally, we apply WildReward to online DPO training and observe significant improvements across various tasks. Code and data are released at https://github.com/THU-KEG/WildReward.