Decodificación Adaptativa a través de la Optimización de Preferencias Latentes

Adaptive Decoding via Latent Preference Optimization

November 14, 2024

Autores: Shehzaad Dhuliawala, Ilia Kulikov, Ping Yu, Asli Celikyilmaz, Jason Weston, Sainbayar Sukhbaatar, Jack Lanchantin

cs.AI

Resumen

Durante el descifrado del modelo de lenguaje, se sabe que el uso de una temperatura más alta en el muestreo produce respuestas más creativas, mientras que temperaturas más bajas son más precisas en cuanto a los hechos. Sin embargo, dichos modelos suelen aplicarse comúnmente a la instrucción general, que implica tareas tanto creativas como de búsqueda de hechos, utilizando una temperatura fija única para todos los ejemplos y tokens. En este trabajo, presentamos la Decodificación Adaptativa, una capa añadida al modelo para seleccionar dinámicamente la temperatura de muestreo en tiempo de inferencia, ya sea a nivel de token o de ejemplo, con el fin de optimizar el rendimiento. Para aprender sus parámetros, introducimos la Optimización de Preferencias Latentes (OPL), un enfoque general para entrenar variables latentes discretas como las elecciones de temperatura. Nuestro método supera a todas las temperaturas fijas de descodificación en una variedad de tareas que requieren diferentes temperaturas, incluyendo UltraFeedback, Escritura de Historias Creativas y GSM8K.

English

During language model decoding, it is known that using higher temperature sampling gives more creative responses, while lower temperatures are more factually accurate. However, such models are commonly applied to general instruction following, which involves both creative and fact seeking tasks, using a single fixed temperature across all examples and tokens. In this work, we introduce Adaptive Decoding, a layer added to the model to select the sampling temperature dynamically at inference time, at either the token or example level, in order to optimize performance. To learn its parameters we introduce Latent Preference Optimization (LPO) a general approach to train discrete latent variables such as choices of temperature. Our method outperforms all fixed decoding temperatures across a range of tasks that require different temperatures, including UltraFeedback, Creative Story Writing, and GSM8K.