Naar een Verenigd Perspectief op Voorkeursleren voor Grote Taalmodellen: Een Overzicht

Towards a Unified View of Preference Learning for Large Language Models: A Survey

September 4, 2024

Auteurs: Bofei Gao, Feifan Song, Yibo Miao, Zefan Cai, Zhe Yang, Liang Chen, Helan Hu, Runxin Xu, Qingxiu Dong, Ce Zheng, Wen Xiao, Ge Zhang, Daoguang Zan, Keming Lu, Bowen Yu, Dayiheng Liu, Zeyu Cui, Jian Yang, Lei Sha, Houfeng Wang, Zhifang Sui, Peiyi Wang, Tianyu Liu, Baobao Chang

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) vertonen opmerkelijk krachtige mogelijkheden. Een van de cruciale factoren om succes te behalen is het afstemmen van de output van de LLM op menselijke voorkeuren. Dit afstemmingsproces vereist vaak slechts een kleine hoeveelheid gegevens om de prestaties van de LLM efficiënt te verbeteren. Hoewel effectief, bestrijkt het onderzoek op dit gebied meerdere domeinen en zijn de betrokken methoden relatief complex om te begrijpen. De relaties tussen verschillende methoden zijn onderbelicht gebleven, wat de ontwikkeling van de voorkeursafstemming beperkt. In het licht hiervan breken we de bestaande populaire afstemmingsstrategieën af in verschillende componenten en bieden we een verenigd kader om de huidige afstemmingsstrategieën te bestuderen, waarbij verbindingen tussen hen worden vastgesteld. In deze survey ontleden we alle strategieën in voorkeursleren in vier componenten: model, gegevens, feedback en algoritme. Deze verenigde kijk biedt een diepgaand begrip van bestaande afstemmingsalgoritmen en opent ook mogelijkheden om de sterke punten van verschillende strategieën te synergeren. Bovendien presenteren we gedetailleerde werkvoorbeelden van gangbare bestaande algoritmen om de lezers een uitgebreid begrip te vergemakkelijken. Tot slot verkennen we, op basis van ons verenigd perspectief, de uitdagingen en toekomstige onderzoeksrichtingen voor het afstemmen van grote taalmodellen op menselijke voorkeuren.

English

Large Language Models (LLMs) exhibit remarkably powerful capabilities. One of the crucial factors to achieve success is aligning the LLM's output with human preferences. This alignment process often requires only a small amount of data to efficiently enhance the LLM's performance. While effective, research in this area spans multiple domains, and the methods involved are relatively complex to understand. The relationships between different methods have been under-explored, limiting the development of the preference alignment. In light of this, we break down the existing popular alignment strategies into different components and provide a unified framework to study the current alignment strategies, thereby establishing connections among them. In this survey, we decompose all the strategies in preference learning into four components: model, data, feedback, and algorithm. This unified view offers an in-depth understanding of existing alignment algorithms and also opens up possibilities to synergize the strengths of different strategies. Furthermore, we present detailed working examples of prevalent existing algorithms to facilitate a comprehensive understanding for the readers. Finally, based on our unified perspective, we explore the challenges and future research directions for aligning large language models with human preferences.