LongReward: AIによる長いコンテキストを持つ大規模言語モデルの改善

LongReward: Improving Long-context Large Language Models with AI Feedback

October 28, 2024

著者: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

cs.AI

要旨

長い文脈を持つ大規模言語モデル（LLM）の開発においては、重要な進展が達成されてきましたが、監督された微調整（SFT）のためのLLM合成データの品質が損なわれることがしばしばあり、これがSFTモデルの長い文脈でのパフォーマンスに影響を与え、固有の制限を引き起こすことがあります。原則として、適切な報酬信号を用いた強化学習（RL）はモデルの能力をさらに向上させることができます。ただし、長い文脈のシナリオで信頼性の高い報酬をどのように獲得するかは未解明のままです。このため、私たちは、4つの人間価値の次元（有益性、論理性、忠実性、完全性）からの長い文脈モデル応答に報酬を提供するために、市販のLLMを利用する新しい手法であるLongRewardを提案します。LongRewardとオフラインRLアルゴリズムDPOを組み合わせることで、長い文脈のSFTモデルを効果的に改善することができます。実験の結果、LongRewardはモデルの長い文脈でのパフォーマンスを著しく向上させるだけでなく、短い指示に従う能力も向上させることが示されました。また、LongRewardと従来の短い文脈DPOを組み合わせた長い文脈DPOは、どちらのパフォーマンスも損なうことなく共存できることも分かりました。

English

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.