직접 선호 최적화에서 참조 정책 이해하기

Understanding Reference Policies in Direct Preference Optimization

July 18, 2024

저자: Yixin Liu, Pengfei Liu, Arman Cohan

cs.AI

초록

직접 선호 최적화(Direct Preference Optimization, DPO)는 대규모 언어 모델(LLMs)의 지시 미세 조정을 위해 널리 사용되는 훈련 방법으로 자리 잡았습니다. 본 연구에서는 DPO의 잘 탐구되지 않은 측면, 즉 참조 모델 또는 정책에 대한 의존성을 탐구합니다. 일반적으로 추가로 미세 조정될 모델로 구현되는 이러한 참조 정책은 DPO의 효과성에 상한선을 부과할 수 있기 때문에 중요합니다. 따라서 본 연구에서는 세 가지 관련 연구 질문을 다룹니다. 먼저, 참조 정책에서의 편차를 벌칙화하는 KL-발산(KL-divergence) 제약의 최적 강도를 탐구하며, DPO가 이 강도에 민감함을 발견했습니다. 다음으로, 지시 미세 조정을 위한 참조 정책의 필요성을 이론적 및 실증적 비교를 통해 검토하고, DPO의 우수성을 입증했습니다. 또한, DPO가 더 강력한 참조 정책으로부터 이점을 얻는지 조사한 결과, 더 강력한 참조 정책이 성능 향상으로 이어질 수 있지만, 이는 미세 조정 중인 모델과 유사할 때만 가능함을 발견했습니다. 본 연구 결과는 DPO에서 참조 정책의 혼란스러운 역할을 강조하고, 모범 사례에 대한 통찰을 제공하며, 향후 연구를 위한 개방형 연구 질문을 식별합니다.

English

Direct Preference Optimization (DPO) has become a widely used training method for the instruction fine-tuning of large language models (LLMs). In this work, we explore an under-investigated aspect of DPO - its dependency on the reference model or policy. Such reference policies, typically instantiated as the model to be further fine-tuned, are important since they can impose an upper limit on DPO's effectiveness. Therefore, we address three related research questions in this work. First, we explore the optimal strength of the KL-divergence constraint in DPO, which penalizes deviations from the reference policy, and find that DPO is sensitive to this strength. Next, we examine the necessity of reference policies for instruction fine-tuning by providing both theoretical and empirical comparisons between DPO and related learning objectives, demonstrating DPO's superiority. Additionally, we investigate whether DPO benefits from stronger reference policies, finding that a stronger reference policy can lead to improved performance, but only when it is similar to the model being fine-tuned. Our findings highlight the confounding role of reference policies in DPO and offer insights for best practices, while also identifying open research questions for future studies.