sDPO: No uses todos tus datos de una sola vez

sDPO: Don't Use Your Data All at Once

March 28, 2024

Autores: Dahyun Kim, Yungi Kim, Wonho Song, Hyeonwoo Kim, Yunsu Kim, Sanghoon Kim, Chanjun Park

cs.AI

Resumen

A medida que avanza el desarrollo de los modelos de lenguaje de gran escala (LLM), alinearlos con las preferencias humanas se ha vuelto cada vez más importante. Proponemos el DPO por pasos (sDPO), una extensión de la optimización directa de preferencias (DPO), recientemente popularizada, para el ajuste de alineación. Este enfoque implica dividir los conjuntos de datos de preferencias disponibles y utilizarlos de manera gradual, en lugar de emplearlos todos a la vez. Demostramos que este método facilita el uso de modelos de referencia más precisamente alineados dentro del marco de entrenamiento DPO. Además, sDPO entrena al modelo final para que sea más eficiente, superando incluso a otros LLM populares con más parámetros.

English

As development of large language models (LLM) progresses, aligning them with human preferences has become increasingly important. We propose stepwise DPO (sDPO), an extension of the recently popularized direct preference optimization (DPO) for alignment tuning. This approach involves dividing the available preference datasets and utilizing them in a stepwise manner, rather than employing it all at once. We demonstrate that this method facilitates the use of more precisely aligned reference models within the DPO training framework. Furthermore, sDPO trains the final model to be more performant, even outperforming other popular LLMs with more parameters.