DPO暗黙的報酬を用いた言語モデルのブートストラップ

要旨

大規模言語モデル（LLM）における人間との整合性（Human Alignment）は、現在活発に研究されている分野です。最近の画期的な研究である直接選好最適化（Direct Preference Optimization, DPO）は、人間のフィードバックからの強化学習（Reinforcement Learning from Human Feedback, RLHF）における報酬学習の段階を省略することで、従来のプロセスを大幅に簡素化しました。DPOは、学習後に暗黙的な報酬モデルを提供します。本研究では、この暗黙的な報酬モデル自体をブートストラップ方式で使用し、LLMの整合性をさらに向上させることができるという新たな観察を行いました。私たちのアプローチは、現在のLLMモデルから得られた報酬を使用して選好データセットを構築し、それを後のDPOラウンドで使用するというものです。また、応答の長さに起因するバイアスを除去し、選好データセットの品質を向上させるための改良を加えることで、アプローチをさらに改善しました。私たちのアプローチは、DPOの暗黙的報酬を用いた自己整合（Self-Alignment with DPO ImpliCit rEwards, DICE）と名付けられ、整合性の大幅な向上を示し、AlpacaEval 2においてGemini Proを上回る性能を達成しました。GPT-4 Turboに対する長さ制御付き勝率は27.55%に達し、わずか80億パラメータで外部フィードバックなしにこれを実現しました。コードはhttps://github.com/sail-sg/diceで公開されています。

English

Human alignment in large language models (LLMs) is an active area of research. A recent groundbreaking work, direct preference optimization (DPO), has greatly simplified the process from past work in reinforcement learning from human feedback (RLHF) by bypassing the reward learning stage in RLHF. DPO, after training, provides an implicit reward model. In this work, we make a novel observation that this implicit reward model can by itself be used in a bootstrapping fashion to further align the LLM. Our approach is to use the rewards from a current LLM model to construct a preference dataset, which is then used in subsequent DPO rounds. We incorporate refinements that debias the length of the responses and improve the quality of the preference dataset to further improve our approach. Our approach, named self-alignment with DPO ImpliCit rEwards (DICE), shows great improvements in alignment and achieves superior performance than Gemini Pro on AlpacaEval 2, reaching 27.55% length-controlled win rate against GPT-4 Turbo, but with only 8B parameters and no external feedback. Our code is available at https://github.com/sail-sg/dice.

DPO暗黙的報酬を用いた言語モデルのブートストラップ

Bootstrapping Language Models with DPO Implicit Rewards

要旨

Support