Оптимизация предпочтений во время тестирования: выравнивание на лету с помощью итеративной текстовой обратной связи

Test-Time Preference Optimization: On-the-Fly Alignment via Iterative Textual Feedback

January 22, 2025

Авторы: Yafu Li, Xuyang Hu, Xiaoye Qu, Linjie Li, Yu Cheng

cs.AI

Аннотация

Большие языковые модели (LLM) демонстрируют впечатляющую производительность, но лишены гибкости быстро адаптироваться к человеческим предпочтениям без повторного обучения. В данной работе мы представляем Оптимизацию предпочтений во время тестирования (Test-time Preference Optimization, TPO), фреймворк, который выравнивает выводы LLM с человеческими предпочтениями во время вывода, устраняя необходимость обновления параметров модели. Вместо использования исключительно числовых вознаграждений, TPO преобразует сигналы вознаграждения в текстовые критики и использует их в качестве текстовых вознаграждений для итеративного улучшения своего ответа. Оценки на бенчмарках, охватывающих следование инструкциям, выравнивание предпочтений, безопасность и математику, показывают, что TPO постепенно улучшает выравнивание с человеческими предпочтениями. Особенно стоит отметить, что уже после нескольких шагов TPO модель Llama-3.1-70B-SFT, изначально не выровненная, может превзойти выровненный аналог, Llama-3.1-70B-Instruct. Более того, TPO эффективно масштабируется как по ширине, так и по глубине поиска во время вывода. Через кейс-стади, мы иллюстрируем, как TPO использует врожденную способность LLM интерпретировать и действовать на сигналы вознаграждения. Наши результаты утверждают TPO как практичную, легкую альтернативу для оптимизации предпочтений во время тестирования, достигая выравнивания на лету. Наш код общедоступен по адресу https://github.com/yafuly/TPO.

English

Large language models (LLMs) demonstrate impressive performance but lack the flexibility to adapt to human preferences quickly without retraining. In this work, we introduce Test-time Preference Optimization (TPO), a framework that aligns LLM outputs with human preferences during inference, removing the need to update model parameters. Rather than relying on purely numerical rewards, TPO translates reward signals into textual critiques and uses them as textual rewards to iteratively refine its response. Evaluations on benchmarks covering instruction following, preference alignment, safety, and mathematics reveal that TPO progressively improves alignment with human preferences. Notably, after only a few TPO steps, the initially unaligned Llama-3.1-70B-SFT model can surpass the aligned counterpart, Llama-3.1-70B-Instruct. Furthermore, TPO scales efficiently with both the search width and depth during inference. Through case studies, we illustrate how TPO exploits the innate capacity of LLM to interpret and act upon reward signals. Our findings establish TPO as a practical, lightweight alternative for test-time preference optimization, achieving alignment on the fly. Our code is publicly available at https://github.com/yafuly/TPO.