Адаптивная декодирование с помощью оптимизации скрытых предпочтений

Adaptive Decoding via Latent Preference Optimization

November 14, 2024

Авторы: Shehzaad Dhuliawala, Ilia Kulikov, Ping Yu, Asli Celikyilmaz, Jason Weston, Sainbayar Sukhbaatar, Jack Lanchantin

cs.AI

Аннотация

Во время расшифровки языковой модели известно, что использование более высокой температуры выборки приводит к более креативным ответам, в то время как более низкие температуры обеспечивают более фактическую точность. Однако такие модели обычно применяются к общему следованию инструкциям, которое включает в себя как креативные, так и фактологические задачи, используя одну фиксированную температуру для всех примеров и токенов. В данной работе мы представляем Адаптивное Декодирование, слой, добавленный к модели для динамического выбора температуры выборки во время вывода, на уровне токена или примера, с целью оптимизации производительности. Для обучения его параметров мы предлагаем Оптимизацию Скрытых Предпочтений (LPO) - общий подход к обучению дискретных скрытых переменных, таких как выбор температуры. Наш метод превосходит все фиксированные температуры декодирования на ряде задач, требующих различных температур, включая UltraFeedback, Креативное Написание Историй и GSM8K.

English

During language model decoding, it is known that using higher temperature sampling gives more creative responses, while lower temperatures are more factually accurate. However, such models are commonly applied to general instruction following, which involves both creative and fact seeking tasks, using a single fixed temperature across all examples and tokens. In this work, we introduce Adaptive Decoding, a layer added to the model to select the sampling temperature dynamically at inference time, at either the token or example level, in order to optimize performance. To learn its parameters we introduce Latent Preference Optimization (LPO) a general approach to train discrete latent variables such as choices of temperature. Our method outperforms all fixed decoding temperatures across a range of tasks that require different temperatures, including UltraFeedback, Creative Story Writing, and GSM8K.