Verso una Visione Unificata dell'Apprendimento delle Preferenze per Grandi Modelli Linguistici: Un'Indagine

Towards a Unified View of Preference Learning for Large Language Models: A Survey

September 4, 2024

Autori: Bofei Gao, Feifan Song, Yibo Miao, Zefan Cai, Zhe Yang, Liang Chen, Helan Hu, Runxin Xu, Qingxiu Dong, Ce Zheng, Wen Xiao, Ge Zhang, Daoguang Zan, Keming Lu, Bowen Yu, Dayiheng Liu, Zeyu Cui, Jian Yang, Lei Sha, Houfeng Wang, Zhifang Sui, Peiyi Wang, Tianyu Liu, Baobao Chang

cs.AI

Abstract

I Large Language Models (LLM) mostrano capacità straordinariamente potenti. Uno dei fattori cruciali per raggiungere il successo è allineare l'output del LLM con le preferenze umane. Questo processo di allineamento spesso richiede solo una piccola quantità di dati per migliorare efficacemente le prestazioni del LLM. Sebbene efficace, la ricerca in questo ambito spazia su molteplici domini e i metodi coinvolti sono relativamente complessi da comprendere. Le relazioni tra i diversi metodi sono state poco esplorate, limitando lo sviluppo dell'allineamento delle preferenze. Pertanto, suddividiamo le strategie di allineamento popolari esistenti in diversi componenti e forniamo un quadro unificato per studiare le strategie di allineamento attuali, stabilendo così connessioni tra di esse. In questa panoramica, suddividiamo tutte le strategie di apprendimento delle preferenze in quattro componenti: modello, dati, feedback e algoritmo. Questa visione unificata offre una comprensione approfondita degli algoritmi di allineamento esistenti e apre anche possibilità per sinergizzare i punti di forza delle diverse strategie. Inoltre, presentiamo esempi dettagliati di lavoro degli algoritmi esistenti più diffusi per facilitare una comprensione completa ai lettori. Infine, basandoci sulla nostra prospettiva unificata, esploriamo le sfide e le future direzioni di ricerca per allineare i grandi modelli linguistici con le preferenze umane.

English

Large Language Models (LLMs) exhibit remarkably powerful capabilities. One of the crucial factors to achieve success is aligning the LLM's output with human preferences. This alignment process often requires only a small amount of data to efficiently enhance the LLM's performance. While effective, research in this area spans multiple domains, and the methods involved are relatively complex to understand. The relationships between different methods have been under-explored, limiting the development of the preference alignment. In light of this, we break down the existing popular alignment strategies into different components and provide a unified framework to study the current alignment strategies, thereby establishing connections among them. In this survey, we decompose all the strategies in preference learning into four components: model, data, feedback, and algorithm. This unified view offers an in-depth understanding of existing alignment algorithms and also opens up possibilities to synergize the strengths of different strategies. Furthermore, we present detailed working examples of prevalent existing algorithms to facilitate a comprehensive understanding for the readers. Finally, based on our unified perspective, we explore the challenges and future research directions for aligning large language models with human preferences.