Rumo a uma Visão Unificada da Aprendizagem de Preferências para Modelos de Linguagem de Grande Escala: Uma Pesquisa

Towards a Unified View of Preference Learning for Large Language Models: A Survey

September 4, 2024

Autores: Bofei Gao, Feifan Song, Yibo Miao, Zefan Cai, Zhe Yang, Liang Chen, Helan Hu, Runxin Xu, Qingxiu Dong, Ce Zheng, Wen Xiao, Ge Zhang, Daoguang Zan, Keming Lu, Bowen Yu, Dayiheng Liu, Zeyu Cui, Jian Yang, Lei Sha, Houfeng Wang, Zhifang Sui, Peiyi Wang, Tianyu Liu, Baobao Chang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) exibem capacidades notavelmente poderosas. Um dos fatores cruciais para alcançar o sucesso é alinhar a saída do LLM com as preferências humanas. Esse processo de alinhamento muitas vezes requer apenas uma pequena quantidade de dados para aprimorar eficientemente o desempenho do LLM. Embora eficaz, a pesquisa nessa área abrange vários domínios e os métodos envolvidos são relativamente complexos de entender. As relações entre diferentes métodos têm sido pouco exploradas, limitando o desenvolvimento do alinhamento de preferências. Diante disso, desmembramos as estratégias populares de alinhamento existentes em diferentes componentes e fornecemos um framework unificado para estudar as estratégias de alinhamento atuais, estabelecendo assim conexões entre elas. Nesta pesquisa, decomponemos todas as estratégias de aprendizado de preferências em quatro componentes: modelo, dados, feedback e algoritmo. Essa visão unificada oferece uma compreensão aprofundada dos algoritmos de alinhamento existentes e também abre possibilidades para sinergizar os pontos fortes de diferentes estratégias. Além disso, apresentamos exemplos de trabalho detalhados de algoritmos existentes prevalentes para facilitar a compreensão abrangente dos leitores. Por fim, com base em nossa perspectiva unificada, exploramos os desafios e as direções futuras de pesquisa para alinhar os grandes modelos de linguagem com as preferências humanas.

English

Large Language Models (LLMs) exhibit remarkably powerful capabilities. One of the crucial factors to achieve success is aligning the LLM's output with human preferences. This alignment process often requires only a small amount of data to efficiently enhance the LLM's performance. While effective, research in this area spans multiple domains, and the methods involved are relatively complex to understand. The relationships between different methods have been under-explored, limiting the development of the preference alignment. In light of this, we break down the existing popular alignment strategies into different components and provide a unified framework to study the current alignment strategies, thereby establishing connections among them. In this survey, we decompose all the strategies in preference learning into four components: model, data, feedback, and algorithm. This unified view offers an in-depth understanding of existing alignment algorithms and also opens up possibilities to synergize the strengths of different strategies. Furthermore, we present detailed working examples of prevalent existing algorithms to facilitate a comprehensive understanding for the readers. Finally, based on our unified perspective, we explore the challenges and future research directions for aligning large language models with human preferences.