Decodificação Adaptativa via Otimização de Preferência Latente

Adaptive Decoding via Latent Preference Optimization

November 14, 2024

Autores: Shehzaad Dhuliawala, Ilia Kulikov, Ping Yu, Asli Celikyilmaz, Jason Weston, Sainbayar Sukhbaatar, Jack Lanchantin

cs.AI

Resumo

Durante a decodificação do modelo de linguagem, é sabido que o uso de uma temperatura mais elevada de amostragem resulta em respostas mais criativas, enquanto temperaturas mais baixas são mais precisas factualmente. No entanto, tais modelos são comumente aplicados ao seguimento de instruções gerais, que envolvem tarefas tanto criativas quanto de busca por fatos, utilizando uma temperatura fixa única em todos os exemplos e tokens. Neste trabalho, introduzimos a Decodificação Adaptativa, uma camada adicionada ao modelo para selecionar dinamicamente a temperatura de amostragem no momento da inferência, seja no nível do token ou do exemplo, a fim de otimizar o desempenho. Para aprender seus parâmetros, introduzimos a Otimização de Preferência Latente (LPO), uma abordagem geral para treinar variáveis latentes discretas, como escolhas de temperatura. Nosso método supera todas as temperaturas de decodificação fixas em uma variedade de tarefas que requerem diferentes temperaturas, incluindo UltraFeedback, Escrita de Histórias Criativas e GSM8K.

English

During language model decoding, it is known that using higher temperature sampling gives more creative responses, while lower temperatures are more factually accurate. However, such models are commonly applied to general instruction following, which involves both creative and fact seeking tasks, using a single fixed temperature across all examples and tokens. In this work, we introduce Adaptive Decoding, a layer added to the model to select the sampling temperature dynamically at inference time, at either the token or example level, in order to optimize performance. To learn its parameters we introduce Latent Preference Optimization (LPO) a general approach to train discrete latent variables such as choices of temperature. Our method outperforms all fixed decoding temperatures across a range of tasks that require different temperatures, including UltraFeedback, Creative Story Writing, and GSM8K.