Hacia una Visión Unificada del Aprendizaje de Preferencias para Modelos de Lenguaje Grandes: Una Encuesta

Towards a Unified View of Preference Learning for Large Language Models: A Survey

September 4, 2024

Autores: Bofei Gao, Feifan Song, Yibo Miao, Zefan Cai, Zhe Yang, Liang Chen, Helan Hu, Runxin Xu, Qingxiu Dong, Ce Zheng, Wen Xiao, Ge Zhang, Daoguang Zan, Keming Lu, Bowen Yu, Dayiheng Liu, Zeyu Cui, Jian Yang, Lei Sha, Houfeng Wang, Zhifang Sui, Peiyi Wang, Tianyu Liu, Baobao Chang

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Tamaño (LLMs) exhiben capacidades notablemente poderosas. Uno de los factores cruciales para lograr el éxito es alinear la salida del LLM con las preferencias humanas. Este proceso de alineación a menudo requiere solo una pequeña cantidad de datos para mejorar eficientemente el rendimiento del LLM. Aunque efectiva, la investigación en esta área abarca múltiples dominios y los métodos involucrados son relativamente complejos de entender. Las relaciones entre diferentes métodos han sido poco exploradas, lo que limita el desarrollo de la alineación de preferencias. En vista de esto, desglosamos las estrategias de alineación populares existentes en diferentes componentes y proporcionamos un marco unificado para estudiar las estrategias de alineación actuales, estableciendo así conexiones entre ellas. En esta revisión, descomponemos todas las estrategias en aprendizaje de preferencias en cuatro componentes: modelo, datos, retroalimentación y algoritmo. Esta visión unificada ofrece una comprensión profunda de los algoritmos de alineación existentes y también abre posibilidades para potenciar las fortalezas de diferentes estrategias. Además, presentamos ejemplos de trabajo detallados de algoritmos existentes prevalentes para facilitar una comprensión integral para los lectores. Finalmente, basándonos en nuestra perspectiva unificada, exploramos los desafíos y las futuras direcciones de investigación para alinear los grandes modelos de lenguaje con las preferencias humanas.

English

Large Language Models (LLMs) exhibit remarkably powerful capabilities. One of the crucial factors to achieve success is aligning the LLM's output with human preferences. This alignment process often requires only a small amount of data to efficiently enhance the LLM's performance. While effective, research in this area spans multiple domains, and the methods involved are relatively complex to understand. The relationships between different methods have been under-explored, limiting the development of the preference alignment. In light of this, we break down the existing popular alignment strategies into different components and provide a unified framework to study the current alignment strategies, thereby establishing connections among them. In this survey, we decompose all the strategies in preference learning into four components: model, data, feedback, and algorithm. This unified view offers an in-depth understanding of existing alignment algorithms and also opens up possibilities to synergize the strengths of different strategies. Furthermore, we present detailed working examples of prevalent existing algorithms to facilitate a comprehensive understanding for the readers. Finally, based on our unified perspective, we explore the challenges and future research directions for aligning large language models with human preferences.