Auf dem Weg zu einem einheitlichen Verständnis des Präferenzlernens für große Sprachmodelle: Eine Übersicht

Towards a Unified View of Preference Learning for Large Language Models: A Survey

September 4, 2024

Autoren: Bofei Gao, Feifan Song, Yibo Miao, Zefan Cai, Zhe Yang, Liang Chen, Helan Hu, Runxin Xu, Qingxiu Dong, Ce Zheng, Wen Xiao, Ge Zhang, Daoguang Zan, Keming Lu, Bowen Yu, Dayiheng Liu, Zeyu Cui, Jian Yang, Lei Sha, Houfeng Wang, Zhifang Sui, Peiyi Wang, Tianyu Liu, Baobao Chang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen bemerkenswert leistungsstarke Fähigkeiten. Einer der entscheidenden Faktoren für den Erfolg besteht darin, die Ausgabe des LLMs mit menschlichen Präferenzen in Einklang zu bringen. Dieser Abstimmungsprozess erfordert oft nur eine geringe Menge an Daten, um die Leistung des LLMs effizient zu verbessern. Obwohl die Forschung in diesem Bereich wirksam ist, erstreckt sie sich über mehrere Domänen, und die beteiligten Methoden sind relativ komplex zu verstehen. Die Beziehungen zwischen verschiedenen Methoden wurden bisher nur unzureichend erforscht, was die Entwicklung der Präferenzabstimmung einschränkt. Vor diesem Hintergrund zerlegen wir die bestehenden beliebten Abstimmungsstrategien in verschiedene Komponenten und bieten ein vereinheitlichtes Rahmenwerk zur Untersuchung der aktuellen Abstimmungsstrategien, um so Verbindungen zwischen ihnen herzustellen. In dieser Übersicht zerlegen wir alle Strategien im Präferenzlernen in vier Komponenten: Modell, Daten, Rückmeldung und Algorithmus. Diese vereinheitlichte Sichtweise bietet ein tiefgreifendes Verständnis der bestehenden Abstimmungsalgorithmen und eröffnet auch Möglichkeiten, die Stärken verschiedener Strategien zu synergisieren. Darüber hinaus präsentieren wir detaillierte Arbeitsbeispiele gängiger bestehender Algorithmen, um den Lesern ein umfassendes Verständnis zu erleichtern. Abschließend, basierend auf unserer vereinheitlichten Perspektive, untersuchen wir die Herausforderungen und zukünftigen Forschungsrichtungen zur Abstimmung großer Sprachmodelle mit menschlichen Präferenzen.

English

Large Language Models (LLMs) exhibit remarkably powerful capabilities. One of the crucial factors to achieve success is aligning the LLM's output with human preferences. This alignment process often requires only a small amount of data to efficiently enhance the LLM's performance. While effective, research in this area spans multiple domains, and the methods involved are relatively complex to understand. The relationships between different methods have been under-explored, limiting the development of the preference alignment. In light of this, we break down the existing popular alignment strategies into different components and provide a unified framework to study the current alignment strategies, thereby establishing connections among them. In this survey, we decompose all the strategies in preference learning into four components: model, data, feedback, and algorithm. This unified view offers an in-depth understanding of existing alignment algorithms and also opens up possibilities to synergize the strengths of different strategies. Furthermore, we present detailed working examples of prevalent existing algorithms to facilitate a comprehensive understanding for the readers. Finally, based on our unified perspective, we explore the challenges and future research directions for aligning large language models with human preferences.