WildReward: 実世界の人間インタラクションからの報酬モデル学習

要旨

報酬モデル（RM）は大規模言語モデル（LLM）の訓練において重要であるが、通常は大規模な人手による注釈付き選好ペアに依存している。LLMの広範な展開に伴い、実環境でのインタラクションが暗黙的な報酬信号の豊富な源として登場している。これにより、実環境インタラクションから直接報酬モデルを構築できるかという疑問が生じる。本研究では、この可能性を探るため、WildChatをインタラクション源として採用し、信頼性の高い人間のフィードバックを抽出するパイプラインを提案する。これにより、選好ペアを介さずユーザーフィードバックに対して順序回帰を直接行うことで、WildRewardを訓練するための186kの高品質なインスタンスが得られた。大規模な実験により、WildRewardは従来の報酬モデルと比較して同等あるいは優れた性能を達成し、較正とサンプル間の一貫性が向上していることが示された。また、WildRewardはユーザーの多様性から直接恩恵を受けており、より多くのユーザーがより強力な報酬モデルをもたらすことを観察した。最後に、WildRewardをオンラインDPO訓練に適用し、様々なタスクで顕著な改善を確認した。コードとデータはhttps://github.com/THU-KEG/WildReward で公開されている。

English

Reward models (RMs) are crucial for the training of large language models (LLMs), yet they typically rely on large-scale human-annotated preference pairs. With the widespread deployment of LLMs, in-the-wild interactions have emerged as a rich source of implicit reward signals. This raises the question: Can we develop reward models directly from in-the-wild interactions? In this work, we explore this possibility by adopting WildChat as an interaction source and proposing a pipeline to extract reliable human feedback, yielding 186k high-quality instances for training WildReward via ordinal regression directly on user feedback without preference pairs. Extensive experiments demonstrate that WildReward achieves comparable or even superior performance compared to conventional reward models, with improved calibration and cross-sample consistency. We also observe that WildReward benefits directly from user diversity, where more users yield stronger reward models. Finally, we apply WildReward to online DPO training and observe significant improvements across various tasks. Code and data are released at https://github.com/THU-KEG/WildReward.

WildReward: 実世界の人間インタラクションからの報酬モデル学習

WildReward: Learning Reward Models from In-the-Wild Human Interactions

要旨

Support