Оптимизация обратных предпочтений для выполнения сложных инструкций

Reverse Preference Optimization for Complex Instruction Following

May 28, 2025

Авторы: Xiang Huang, Ting-En Lin, Feiteng Fang, Yuchuan Wu, Hangyu Li, Yuzhong Qu, Fei Huang, Yongbin Li

cs.AI

Аннотация

Следование инструкциям (Instruction Following, IF) является ключевой способностью для крупных языковых моделей (Large Language Models, LLMs). Однако обработка сложных инструкций с множеством ограничений остается сложной задачей. Предыдущие методы обычно выбирают пары предпочтений на основе количества ограничений, которые они удовлетворяют, что вносит шум, поскольку выбранные примеры могут не соответствовать некоторым ограничениям, а отвергнутые примеры могут превосходить выбранные в определенных аспектах. Для решения задачи согласования с множественными предпочтениями мы предлагаем простой, но эффективный метод, называемый Оптимизацией с Обратным Предпочтением (Reverse Preference Optimization, RPO). Он снижает шум в парах предпочтений за счет динамического обращения ограничений в инструкции, чтобы гарантировать, что выбранный ответ является идеальным, уменьшая необходимость в обширной выборке и фильтрации для сбора идеальных ответов. Кроме того, обращение также увеличивает разрыв между выбранными и отвергнутыми ответами, тем самым уточняя направление оптимизации и делая его более устойчивым к шуму. Мы оцениваем RPO на двух многозадачных бенчмарках IF, Sysbench и Multi-IF, демонстрируя средние улучшения по сравнению с базовым методом DPO на 4,6 и 2,5 пункта (на модели Llama-3.1 8B), соответственно. Более того, RPO эффективно масштабируется для моделей разных размеров (от 8B до 70B параметров), причем модель RPO с 70B параметрами превосходит GPT-4o.

English

Instruction following (IF) is a critical capability for large language models (LLMs). However, handling complex instructions with multiple constraints remains challenging. Previous methods typically select preference pairs based on the number of constraints they satisfy, introducing noise where chosen examples may fail to follow some constraints and rejected examples may excel in certain respects over the chosen ones. To address the challenge of aligning with multiple preferences, we propose a simple yet effective method called Reverse Preference Optimization (RPO). It mitigates noise in preference pairs by dynamically reversing the constraints within the instruction to ensure the chosen response is perfect, alleviating the burden of extensive sampling and filtering to collect perfect responses. Besides, reversal also enlarges the gap between chosen and rejected responses, thereby clarifying the optimization direction and making it more robust to noise. We evaluate RPO on two multi-turn IF benchmarks, Sysbench and Multi-IF, demonstrating average improvements over the DPO baseline of 4.6 and 2.5 points (on Llama-3.1 8B), respectively. Moreover, RPO scales effectively across model sizes (8B to 70B parameters), with the 70B RPO model surpassing GPT-4o.