OTTIMIZZAZIONE DELLA PREFERENZA AL MOMENTO DEL TEST: Allineamento On-the-Fly tramite Feedback Testuale Iterativo

Test-Time Preference Optimization: On-the-Fly Alignment via Iterative Textual Feedback

January 22, 2025

Autori: Yafu Li, Xuyang Hu, Xiaoye Qu, Linjie Li, Yu Cheng

cs.AI

Abstract

I grandi modelli linguistici (LLM) dimostrano un'ottima performance ma mancano della flessibilità necessaria per adattarsi rapidamente alle preferenze umane senza dover essere ritraining. In questo lavoro, presentiamo l' Ottimizzazione delle Preferenze al Test (TPO), un framework che allinea le uscite del LLM con le preferenze umane durante l'inferenza, eliminando la necessità di aggiornare i parametri del modello. Piuttosto che basarsi esclusivamente su ricompense numeriche, TPO traduce i segnali di ricompensa in critiche testuali e li utilizza come ricompense testuali per affinare iterativamente la sua risposta. Le valutazioni su benchmark che coprono il seguire le istruzioni, l'allineamento delle preferenze, la sicurezza e la matematica rivelano che TPO migliora progressivamente l'allineamento con le preferenze umane. In particolare, dopo solo pochi passaggi di TPO, il modello inizialmente non allineato Llama-3.1-70B-SFT può superare il corrispettivo allineato, Llama-3.1-70B-Instruct. Inoltre, TPO scala efficientemente sia con la larghezza che con la profondità della ricerca durante l'inferenza. Attraverso casi di studio, illustramo come TPO sfrutti la capacità innata del LLM di interpretare e agire sui segnali di ricompensa. I nostri risultati stabiliscono TPO come un'alternativa pratica e leggera per l'ottimizzazione delle preferenze al test, raggiungendo l'allineamento al volo. Il nostro codice è disponibile pubblicamente su https://github.com/yafuly/TPO.

English

Large language models (LLMs) demonstrate impressive performance but lack the flexibility to adapt to human preferences quickly without retraining. In this work, we introduce Test-time Preference Optimization (TPO), a framework that aligns LLM outputs with human preferences during inference, removing the need to update model parameters. Rather than relying on purely numerical rewards, TPO translates reward signals into textual critiques and uses them as textual rewards to iteratively refine its response. Evaluations on benchmarks covering instruction following, preference alignment, safety, and mathematics reveal that TPO progressively improves alignment with human preferences. Notably, after only a few TPO steps, the initially unaligned Llama-3.1-70B-SFT model can surpass the aligned counterpart, Llama-3.1-70B-Instruct. Furthermore, TPO scales efficiently with both the search width and depth during inference. Through case studies, we illustrate how TPO exploits the innate capacity of LLM to interpret and act upon reward signals. Our findings establish TPO as a practical, lightweight alternative for test-time preference optimization, achieving alignment on the fly. Our code is publicly available at https://github.com/yafuly/TPO.