オンラインAIフィードバックによる直接的な言語モデルのアラインメント

要旨

直接選好アライメント（DAP）手法、例えばDPOは、最近、人間のフィードバックからの強化学習（RLHF）に代わる効率的な手法として登場し、別個の報酬モデルを必要としません。しかし、DAP手法で使用される選好データセットは通常、トレーニング前に収集され、更新されることはないため、フィードバックは完全にオフラインです。さらに、これらのデータセット内の応答は、アライメント対象の言語モデルとは異なるモデルからサンプリングされることが多く、モデルはトレーニング中に進化するため、アライメントフェーズは必然的にオフポリシーになります。本研究では、オンラインフィードバックが鍵であり、DAP手法を改善すると主張します。私たちの手法であるオンラインAIフィードバック（OAIF）は、LLMをアノテーターとして使用します。各トレーニングイテレーションで、現在のモデルから2つの応答をサンプリングし、LLMアノテーターにどちらが好ましいかを選択するよう促すことで、オンラインフィードバックを提供します。そのシンプルさにもかかわらず、いくつかのタスクでの人間評価を通じて、OAIFがオフラインDAPおよびRLHF手法を上回ることを実証します。さらに、LLMアノテーターへの指示プロンプトを通じて、OAIFで活用されるフィードバックが容易に制御可能であることも示します。

English

Direct alignment from preferences (DAP) methods, such as DPO, have recently emerged as efficient alternatives to reinforcement learning from human feedback (RLHF), that do not require a separate reward model. However, the preference datasets used in DAP methods are usually collected ahead of training and never updated, thus the feedback is purely offline. Moreover, responses in these datasets are often sampled from a language model distinct from the one being aligned, and since the model evolves over training, the alignment phase is inevitably off-policy. In this study, we posit that online feedback is key and improves DAP methods. Our method, online AI feedback (OAIF), uses an LLM as annotator: on each training iteration, we sample two responses from the current model and prompt the LLM annotator to choose which one is preferred, thus providing online feedback. Despite its simplicity, we demonstrate via human evaluation in several tasks that OAIF outperforms both offline DAP and RLHF methods. We further show that the feedback leveraged in OAIF is easily controllable, via instruction prompts to the LLM annotator.

オンラインAIフィードバックによる直接的な言語モデルのアラインメント

Direct Language Model Alignment from Online AI Feedback

要旨

Support