直接選好最適化における参照ポリシーの理解

Understanding Reference Policies in Direct Preference Optimization

July 18, 2024

著者: Yixin Liu, Pengfei Liu, Arman Cohan

cs.AI

要旨

Direct Preference Optimization (DPO) は、大規模言語モデル (LLM) の指示ファインチューニングにおいて広く使用されるトレーニング手法となっています。本研究では、DPO の未解明の側面、すなわち参照モデルまたはポリシーへの依存性について探求します。通常、ファインチューニング対象のモデルとして具体化されるこれらの参照ポリシーは、DPO の効果に上限を課す可能性があるため重要です。そこで、本研究では3つの関連する研究課題に取り組みます。まず、DPO における KLダイバージェンス制約の最適な強度を探求し、DPO がこの強度に敏感であることを明らかにします。次に、指示ファインチューニングにおける参照ポリシーの必要性を検証するため、DPO と関連する学習目的関数の理論的および実証的な比較を行い、DPO の優位性を実証します。さらに、DPO がより強力な参照ポリシーから恩恵を受けるかどうかを調査し、ファインチューニング対象のモデルと類似した場合に限り、より強力な参照ポリシーが性能向上につながることを発見しました。本研究の結果は、DPO における参照ポリシーの複雑な役割を浮き彫りにし、ベストプラクティスへの洞察を提供するとともに、今後の研究に向けた未解決の課題を特定しています。

English

Direct Preference Optimization (DPO) has become a widely used training method for the instruction fine-tuning of large language models (LLMs). In this work, we explore an under-investigated aspect of DPO - its dependency on the reference model or policy. Such reference policies, typically instantiated as the model to be further fine-tuned, are important since they can impose an upper limit on DPO's effectiveness. Therefore, we address three related research questions in this work. First, we explore the optimal strength of the KL-divergence constraint in DPO, which penalizes deviations from the reference policy, and find that DPO is sensitive to this strength. Next, we examine the necessity of reference policies for instruction fine-tuning by providing both theoretical and empirical comparisons between DPO and related learning objectives, demonstrating DPO's superiority. Additionally, we investigate whether DPO benefits from stronger reference policies, finding that a stronger reference policy can lead to improved performance, but only when it is similar to the model being fine-tuned. Our findings highlight the confounding role of reference policies in DPO and offer insights for best practices, while also identifying open research questions for future studies.