Verständnis von Referenzrichtlinien in der direkten Präferenzoptimierung

Understanding Reference Policies in Direct Preference Optimization

July 18, 2024

Autoren: Yixin Liu, Pengfei Liu, Arman Cohan

cs.AI

Zusammenfassung

Die direkte Präferenzoptimierung (DPO) ist zu einer weit verbreiteten Schulungsmethode für das Feintuning großer Sprachmodelle (LLMs) geworden. In dieser Arbeit untersuchen wir einen wenig erforschten Aspekt der DPO - ihre Abhängigkeit vom Referenzmodell oder der Referenzrichtlinie. Solche Referenzrichtlinien, die typischerweise als das Modell instantiiert sind, das weiter feinabgestimmt werden soll, sind wichtig, da sie eine Obergrenze für die Wirksamkeit der DPO festlegen können. Daher behandeln wir in dieser Arbeit drei damit zusammenhängende Forschungsfragen. Zunächst untersuchen wir die optimale Stärke der KL-Divergenzbeschränkung in der DPO, die Abweichungen von der Referenzrichtlinie bestraft, und stellen fest, dass die DPO auf diese Stärke empfindlich reagiert. Als nächstes prüfen wir die Notwendigkeit von Referenzrichtlinien für das Feintuning durch theoretische und empirische Vergleiche zwischen der DPO und verwandten Lernzielen und zeigen die Überlegenheit der DPO auf. Darüber hinaus untersuchen wir, ob die DPO von stärkeren Referenzrichtlinien profitiert und stellen fest, dass eine stärkere Referenzrichtlinie zu einer verbesserten Leistung führen kann, jedoch nur, wenn sie dem Modell ähnlich ist, das feinabgestimmt wird. Unsere Ergebnisse heben die verwirrende Rolle von Referenzrichtlinien in der DPO hervor und bieten Einblicke in bewährte Verfahren, während sie auch offene Forschungsfragen für zukünftige Studien identifizieren.

English

Direct Preference Optimization (DPO) has become a widely used training method for the instruction fine-tuning of large language models (LLMs). In this work, we explore an under-investigated aspect of DPO - its dependency on the reference model or policy. Such reference policies, typically instantiated as the model to be further fine-tuned, are important since they can impose an upper limit on DPO's effectiveness. Therefore, we address three related research questions in this work. First, we explore the optimal strength of the KL-divergence constraint in DPO, which penalizes deviations from the reference policy, and find that DPO is sensitive to this strength. Next, we examine the necessity of reference policies for instruction fine-tuning by providing both theoretical and empirical comparisons between DPO and related learning objectives, demonstrating DPO's superiority. Additionally, we investigate whether DPO benefits from stronger reference policies, finding that a stronger reference policy can lead to improved performance, but only when it is similar to the model being fine-tuned. Our findings highlight the confounding role of reference policies in DPO and offer insights for best practices, while also identifying open research questions for future studies.