Het Begrijpen van Referentiebeleid in Directe Voorkeursoptimalisatie

Understanding Reference Policies in Direct Preference Optimization

July 18, 2024

Auteurs: Yixin Liu, Pengfei Liu, Arman Cohan

cs.AI

Samenvatting

Direct Preference Optimization (DPO) is uitgegroeid tot een veelgebruikte trainingsmethode voor het instructie-finetunen van grote taalmodelen (LLMs). In dit werk onderzoeken we een onderbelicht aspect van DPO: de afhankelijkheid van het referentiemodel of -beleid. Dergelijke referentiebeleidsregels, doorgaans geïnstantieerd als het model dat verder moet worden gefinetuned, zijn belangrijk omdat ze een bovengrens kunnen stellen aan de effectiviteit van DPO. Daarom behandelen we in dit werk drie gerelateerde onderzoeksvragen. Ten eerste onderzoeken we de optimale sterkte van de KL-divergentiebeperking in DPO, die afwijkingen van het referentiebeleid bestraft, en concluderen dat DPO gevoelig is voor deze sterkte. Vervolgens onderzoeken we de noodzaak van referentiebeleidsregels voor instructie-finetuning door zowel theoretische als empirische vergelijkingen te maken tussen DPO en gerelateerde leerdoelstellingen, waarbij we de superioriteit van DPO aantonen. Daarnaast onderzoeken we of DPO baat heeft bij sterkere referentiebeleidsregels, en vinden we dat een sterker referentiebeleid kan leiden tot betere prestaties, maar alleen wanneer het vergelijkbaar is met het model dat wordt gefinetuned. Onze bevindingen benadrukken de verwarrende rol van referentiebeleidsregels in DPO en bieden inzichten voor best practices, terwijl ze ook open onderzoeksvragen identificeren voor toekomstige studies.

English

Direct Preference Optimization (DPO) has become a widely used training method for the instruction fine-tuning of large language models (LLMs). In this work, we explore an under-investigated aspect of DPO - its dependency on the reference model or policy. Such reference policies, typically instantiated as the model to be further fine-tuned, are important since they can impose an upper limit on DPO's effectiveness. Therefore, we address three related research questions in this work. First, we explore the optimal strength of the KL-divergence constraint in DPO, which penalizes deviations from the reference policy, and find that DPO is sensitive to this strength. Next, we examine the necessity of reference policies for instruction fine-tuning by providing both theoretical and empirical comparisons between DPO and related learning objectives, demonstrating DPO's superiority. Additionally, we investigate whether DPO benefits from stronger reference policies, finding that a stronger reference policy can lead to improved performance, but only when it is similar to the model being fine-tuned. Our findings highlight the confounding role of reference policies in DPO and offer insights for best practices, while also identifying open research questions for future studies.