Reverse Preference Optimization für komplexe Anweisungsbefolgung

Reverse Preference Optimization for Complex Instruction Following

May 28, 2025

papers.authors: Xiang Huang, Ting-En Lin, Feiteng Fang, Yuchuan Wu, Hangyu Li, Yuzhong Qu, Fei Huang, Yongbin Li

cs.AI

papers.abstract

Instruction Following (IF) ist eine entscheidende Fähigkeit für große Sprachmodelle (LLMs). Die Verarbeitung komplexer Anweisungen mit mehreren Einschränkungen bleibt jedoch eine Herausforderung. Bisherige Methoden wählen Präferenzpaare typischerweise basierend auf der Anzahl der erfüllten Einschränkungen aus, was Rauschen einführt, da ausgewählte Beispiele einige Einschränkungen möglicherweise nicht erfüllen und abgelehnte Beispiele in bestimmten Aspekten besser abschneiden können als die ausgewählten. Um die Herausforderung der Ausrichtung auf mehrere Präferenzen zu bewältigen, schlagen wir eine einfache, aber effektive Methode namens Reverse Preference Optimization (RPO) vor. Diese Methode reduziert Rauschen in Präferenzpaaren, indem sie die Einschränkungen innerhalb der Anweisung dynamisch umkehrt, um sicherzustellen, dass die ausgewählte Antwort perfekt ist. Dadurch wird die Notwendigkeit umfangreicher Stichproben und Filterungen zur Sammlung perfekter Antworten verringert. Darüber hinaus vergrößert die Umkehrung die Kluft zwischen ausgewählten und abgelehnten Antworten, wodurch die Optimierungsrichtung klarer wird und sie robuster gegenüber Rauschen ist. Wir evaluieren RPO anhand von zwei Multi-Turn-IF-Benchmarks, Sysbench und Multi-IF, und zeigen durchschnittliche Verbesserungen gegenüber der DPO-Baseline von 4,6 und 2,5 Punkten (auf Llama-3.1 8B) auf. Zudem skaliert RPO effektiv über verschiedene Modellgrößen (8B bis 70B Parameter), wobei das 70B-RPO-Modell GPT-4o übertrifft.

English

Instruction following (IF) is a critical capability for large language models (LLMs). However, handling complex instructions with multiple constraints remains challenging. Previous methods typically select preference pairs based on the number of constraints they satisfy, introducing noise where chosen examples may fail to follow some constraints and rejected examples may excel in certain respects over the chosen ones. To address the challenge of aligning with multiple preferences, we propose a simple yet effective method called Reverse Preference Optimization (RPO). It mitigates noise in preference pairs by dynamically reversing the constraints within the instruction to ensure the chosen response is perfect, alleviating the burden of extensive sampling and filtering to collect perfect responses. Besides, reversal also enlarges the gap between chosen and rejected responses, thereby clarifying the optimization direction and making it more robust to noise. We evaluate RPO on two multi-turn IF benchmarks, Sysbench and Multi-IF, demonstrating average improvements over the DPO baseline of 4.6 and 2.5 points (on Llama-3.1 8B), respectively. Moreover, RPO scales effectively across model sizes (8B to 70B parameters), with the 70B RPO model surpassing GPT-4o.