Comprensione delle Politiche di Riferimento nell'Ottimizzazione Diretta delle Preferenze

Understanding Reference Policies in Direct Preference Optimization

July 18, 2024

Autori: Yixin Liu, Pengfei Liu, Arman Cohan

cs.AI

Abstract

L'ottimizzazione diretta delle preferenze (Direct Preference Optimization, DPO) è diventata un metodo di addestramento ampiamente utilizzato per il fine-tuning su istruzioni di grandi modelli linguistici (Large Language Models, LLMs). In questo lavoro, esploriamo un aspetto poco studiato della DPO: la sua dipendenza dal modello o politica di riferimento. Tali politiche di riferimento, tipicamente istanziate come il modello da sottoporre a ulteriore fine-tuning, sono importanti poiché possono imporre un limite superiore all'efficacia della DPO. Pertanto, affrontiamo tre domande di ricerca correlate in questo lavoro. Innanzitutto, esploriamo l'intensità ottimale del vincolo di divergenza KL nella DPO, che penalizza le deviazioni dalla politica di riferimento, e scopriamo che la DPO è sensibile a questa intensità. Successivamente, esaminiamo la necessità delle politiche di riferimento per il fine-tuning su istruzioni, fornendo confronti sia teorici che empirici tra la DPO e obiettivi di apprendimento correlati, dimostrando la superiorità della DPO. Inoltre, indaghiamo se la DPO trae vantaggio da politiche di riferimento più forti, scoprendo che una politica di riferimento più forte può portare a prestazioni migliorate, ma solo quando è simile al modello in fase di fine-tuning. I nostri risultati evidenziano il ruolo confondente delle politiche di riferimento nella DPO e offrono spunti per le migliori pratiche, identificando al contempo domande di ricerca aperte per studi futuri.

English

Direct Preference Optimization (DPO) has become a widely used training method for the instruction fine-tuning of large language models (LLMs). In this work, we explore an under-investigated aspect of DPO - its dependency on the reference model or policy. Such reference policies, typically instantiated as the model to be further fine-tuned, are important since they can impose an upper limit on DPO's effectiveness. Therefore, we address three related research questions in this work. First, we explore the optimal strength of the KL-divergence constraint in DPO, which penalizes deviations from the reference policy, and find that DPO is sensitive to this strength. Next, we examine the necessity of reference policies for instruction fine-tuning by providing both theoretical and empirical comparisons between DPO and related learning objectives, demonstrating DPO's superiority. Additionally, we investigate whether DPO benefits from stronger reference policies, finding that a stronger reference policy can lead to improved performance, but only when it is similar to the model being fine-tuned. Our findings highlight the confounding role of reference policies in DPO and offer insights for best practices, while also identifying open research questions for future studies.