Bei den Transformationen über das Belohnungsmodell, die Parameteraktualisierung und den In-Context-Prompt.

On the Transformations across Reward Model, Parameter Update, and In-Context Prompt

June 24, 2024

Autoren: Deng Cai, Huayang Li, Tingchen Fu, Siheng Li, Weiwen Xu, Shuaiyi Li, Bowen Cao, Zhisong Zhang, Xinting Huang, Leyang Cui, Yan Wang, Lemao Liu, Taro Watanabe, Shuming Shi

cs.AI

Zusammenfassung

Trotz der allgemeinen Fähigkeiten vortrainierter großer Sprachmodelle (Large Language Models, LLMs) bedarf es weiterer Anpassungen, um praktische Anwendungen besser zu unterstützen. In diesem Paper zeigen wir die Austauschbarkeit von drei beliebten und unterschiedlichen Anpassungswerkzeugen: Parameteraktualisierung, Belohnungsmodellierung und in-kontextuelles Anstoßen. Diese Austauschbarkeit etabliert ein dreieckiges Rahmenwerk mit sechs Transformationsrichtungen, die jeweils eine Vielzahl von Anwendungen erleichtern. Unsere Arbeit bietet eine ganzheitliche Sicht, die zahlreiche bestehende Studien vereint und potenzielle Forschungsrichtungen vorschlägt. Wir sehen unsere Arbeit als eine nützliche Roadmap für zukünftige Forschung zu LLMs.

English

Despite the general capabilities of pre-trained large language models (LLMs), they still need further adaptation to better serve practical applications. In this paper, we demonstrate the interchangeability of three popular and distinct adaptation tools: parameter updating, reward modeling, and in-context prompting. This interchangeability establishes a triangular framework with six transformation directions, each of which facilitates a variety of applications. Our work offers a holistic view that unifies numerous existing studies and suggests potential research directions. We envision our work as a useful roadmap for future research on LLMs.