WildReward: Aprendizaje de Modelos de Recompensa a partir de Interacciones Humanas en Entornos Naturales

WildReward: Learning Reward Models from In-the-Wild Human Interactions

February 9, 2026

Autores: Hao Peng, Yunjia Qi, Xiaozhi Wang, Zijun Yao, Lei Hou, Juanzi Li

cs.AI

Resumen

Los modelos de recompensa (RMs) son cruciales para el entrenamiento de grandes modelos de lenguaje (LLMs), aunque normalmente dependen de pares de preferencias anotados manualmente a gran escala. Con el despliegue generalizado de los LLMs, las interacciones en entornos reales han surgido como una fuente rica de señales de recompensa implícitas. Esto plantea la pregunta: ¿Podemos desarrollar modelos de recompensa directamente a partir de interacciones en entornos reales? En este trabajo, exploramos esta posibilidad adoptando WildChat como fuente de interacción y proponiendo un pipeline para extraer retroalimentación humana confiable, obteniendo 186k instancias de alta calidad para entrenar WildReward mediante regresión ordinal directamente sobre la retroalimentación del usuario, sin pares de preferencias. Experimentos exhaustivos demuestran que WildReward logra un rendimiento comparable o incluso superior en comparación con los modelos de recompensa convencionales, con una calibración mejorada y una consistencia entre muestras. También observamos que WildReward se beneficia directamente de la diversidad de usuarios, donde más usuarios producen modelos de recompensa más sólidos. Finalmente, aplicamos WildReward al entrenamiento DPO en línea y observamos mejoras significativas en diversas tareas. El código y los datos se publican en https://github.com/THU-KEG/WildReward.

English

Reward models (RMs) are crucial for the training of large language models (LLMs), yet they typically rely on large-scale human-annotated preference pairs. With the widespread deployment of LLMs, in-the-wild interactions have emerged as a rich source of implicit reward signals. This raises the question: Can we develop reward models directly from in-the-wild interactions? In this work, we explore this possibility by adopting WildChat as an interaction source and proposing a pipeline to extract reliable human feedback, yielding 186k high-quality instances for training WildReward via ordinal regression directly on user feedback without preference pairs. Extensive experiments demonstrate that WildReward achieves comparable or even superior performance compared to conventional reward models, with improved calibration and cross-sample consistency. We also observe that WildReward benefits directly from user diversity, where more users yield stronger reward models. Finally, we apply WildReward to online DPO training and observe significant improvements across various tasks. Code and data are released at https://github.com/THU-KEG/WildReward.