Omgekeerde Voorkeursoptimalisatie voor Complexe Instructievolging

Reverse Preference Optimization for Complex Instruction Following

May 28, 2025

Auteurs: Xiang Huang, Ting-En Lin, Feiteng Fang, Yuchuan Wu, Hangyu Li, Yuzhong Qu, Fei Huang, Yongbin Li

cs.AI

Samenvatting

Instructievolging (IF) is een cruciale vaardigheid voor grote taalmodelen (LLMs). Het omgaan met complexe instructies met meerdere beperkingen blijft echter een uitdaging. Eerdere methoden selecteren doorgaans voorkeursparen op basis van het aantal beperkingen dat ze voldoen, wat ruis introduceert waarbij gekozen voorbeelden sommige beperkingen mogelijk niet volgen en afgewezen voorbeelden in bepaalde opzichten beter kunnen presteren dan de gekozen voorbeelden. Om de uitdaging van afstemming op meerdere voorkeuren aan te pakken, stellen we een eenvoudige maar effectieve methode voor genaamd Reverse Preference Optimization (RPO). Het vermindert ruis in voorkeursparen door dynamisch de beperkingen binnen de instructie om te keren, waardoor ervoor wordt gezorgd dat het gekozen antwoord perfect is, wat de last van uitgebreide steekproeven en filtering om perfecte antwoorden te verzamelen verlicht. Bovendien vergroot de omkering ook het verschil tussen gekozen en afgewezen antwoorden, waardoor de optimalisatierichting wordt verduidelijkt en deze robuuster wordt tegen ruis. We evalueren RPO op twee multi-turn IF benchmarks, Sysbench en Multi-IF, en tonen gemiddelde verbeteringen ten opzichte van de DPO-baseline van respectievelijk 4,6 en 2,5 punten (op Llama-3.1 8B). Bovendien schaalt RPO effectief over verschillende modelgroottes (8B tot 70B parameters), waarbij het 70B RPO-model GPT-4o overtreft.

English

Instruction following (IF) is a critical capability for large language models (LLMs). However, handling complex instructions with multiple constraints remains challenging. Previous methods typically select preference pairs based on the number of constraints they satisfy, introducing noise where chosen examples may fail to follow some constraints and rejected examples may excel in certain respects over the chosen ones. To address the challenge of aligning with multiple preferences, we propose a simple yet effective method called Reverse Preference Optimization (RPO). It mitigates noise in preference pairs by dynamically reversing the constraints within the instruction to ensure the chosen response is perfect, alleviating the burden of extensive sampling and filtering to collect perfect responses. Besides, reversal also enlarges the gap between chosen and rejected responses, thereby clarifying the optimization direction and making it more robust to noise. We evaluate RPO on two multi-turn IF benchmarks, Sysbench and Multi-IF, demonstrating average improvements over the DPO baseline of 4.6 and 2.5 points (on Llama-3.1 8B), respectively. Moreover, RPO scales effectively across model sizes (8B to 70B parameters), with the 70B RPO model surpassing GPT-4o.