Ottimizzazione Inversa delle Preferenze per il Seguimento di Istruzioni Complesse

Reverse Preference Optimization for Complex Instruction Following

May 28, 2025

Autori: Xiang Huang, Ting-En Lin, Feiteng Fang, Yuchuan Wu, Hangyu Li, Yuzhong Qu, Fei Huang, Yongbin Li

cs.AI

Abstract

Il seguire le istruzioni (Instruction Following, IF) è una capacità cruciale per i grandi modelli linguistici (Large Language Models, LLMs). Tuttavia, gestire istruzioni complesse con molteplici vincoli rimane una sfida. I metodi precedenti selezionano tipicamente coppie di preferenze basandosi sul numero di vincoli soddisfatti, introducendo rumore laddove gli esempi scelti potrebbero non rispettare alcuni vincoli e gli esempi rifiutati potrebbero eccellere in certi aspetti rispetto a quelli scelti. Per affrontare la sfida dell'allineamento con preferenze multiple, proponiamo un metodo semplice ma efficace chiamato Reverse Preference Optimization (RPO). Questo metodo mitiga il rumore nelle coppie di preferenze invertendo dinamicamente i vincoli all'interno dell'istruzione per garantire che la risposta scelta sia perfetta, alleviando il carico di campionamento e filtraggio estensivo per raccogliere risposte perfette. Inoltre, l'inversione amplia il divario tra le risposte scelte e quelle rifiutate, chiarendo così la direzione di ottimizzazione e rendendola più robusta al rumore. Valutiamo RPO su due benchmark IF multi-turn, Sysbench e Multi-IF, dimostrando miglioramenti medi rispetto alla baseline DPO di 4,6 e 2,5 punti (su Llama-3.1 8B), rispettivamente. Inoltre, RPO scala efficacemente tra diverse dimensioni del modello (da 8B a 70B parametri), con il modello RPO da 70B che supera GPT-4o.

English

Instruction following (IF) is a critical capability for large language models (LLMs). However, handling complex instructions with multiple constraints remains challenging. Previous methods typically select preference pairs based on the number of constraints they satisfy, introducing noise where chosen examples may fail to follow some constraints and rejected examples may excel in certain respects over the chosen ones. To address the challenge of aligning with multiple preferences, we propose a simple yet effective method called Reverse Preference Optimization (RPO). It mitigates noise in preference pairs by dynamically reversing the constraints within the instruction to ensure the chosen response is perfect, alleviating the burden of extensive sampling and filtering to collect perfect responses. Besides, reversal also enlarges the gap between chosen and rejected responses, thereby clarifying the optimization direction and making it more robust to noise. We evaluate RPO on two multi-turn IF benchmarks, Sysbench and Multi-IF, demonstrating average improvements over the DPO baseline of 4.6 and 2.5 points (on Llama-3.1 8B), respectively. Moreover, RPO scales effectively across model sizes (8B to 70B parameters), with the 70B RPO model surpassing GPT-4o.