BPO: Die Leistungssteigerung des Online-Präferenzlernens durch Einhaltung der Nähe des Verhaltens LLM.

BPO: Supercharging Online Preference Learning by Adhering to the Proximity of Behavior LLM

June 18, 2024

Autoren: Wenda Xu, Jiachen Li, William Yang Wang, Lei Li

cs.AI

Zusammenfassung

Die direkte Ausrichtung von Präferenzen (DAP) hat sich als vielversprechendes Paradigma für die Ausrichtung großer Sprachmodelle (LLMs) an menschliche Wünsche aus zuvor gesammelten, offline Präferenzdatensätzen herauskristallisiert. Während aktuelle Studien darauf hindeuten, dass bestehende offline DAP-Methoden direkt von Online-Trainingssamples profitieren können, betonen wir die Notwendigkeit, spezifische Online-DAP-Algorithmen zu entwickeln, um die volle Leistungsfähigkeit des Online-Trainings auszuschöpfen. Insbesondere identifizieren wir, dass das erlernte LLM der Nähe des Verhaltens-LLM entsprechen sollte, das die Trainingssamples sammelt. Zu diesem Zweck schlagen wir die Online-Präferenzoptimierung in der Nähe des Verhaltens-LLM (BPO) vor und betonen die Bedeutung der Konstruktion einer angemessenen Vertrauensregion für die LLM-Ausrichtung. Wir führen umfangreiche Experimente durch, um die Wirksamkeit und Anwendbarkeit unseres Ansatzes zu validieren, indem wir ihn mit verschiedenen DAP-Methoden integrieren, was zu signifikanten Leistungsverbesserungen über eine Vielzahl von Aufgaben führt, wenn mit derselben Menge an Präferenzdaten trainiert wird. Selbst wenn nur eine zusätzliche Datensammlungsphase eingeführt wird, verbessert unser Online-BPO seine offline DAP-Basislinie von 72,0 % auf 80,2 % bei TL;DR und von 82,2 % auf 89,1 % bei Anthropischer Hilfsbereitschaft in Bezug auf den Gewinnanteil gegenüber menschlichem Referenztext.

English

Direct alignment from preferences (DAP) has emerged as a promising paradigm for aligning large language models (LLMs) to human desiderata from pre-collected, offline preference datasets. While recent studies indicate that existing offline DAP methods can directly benefit from online training samples, we highlight the need to develop specific online DAP algorithms to fully harness the power of online training. Specifically, we identify that the learned LLM should adhere to the proximity of the behavior LLM, which collects the training samples. To this end, we propose online Preference Optimization in proximity to the Behavior LLM (BPO), emphasizing the importance of constructing a proper trust region for LLM alignment. We conduct extensive experiments to validate the effectiveness and applicability of our approach by integrating it with various DAP methods, resulting in significant performance improvements across a wide range of tasks when training with the same amount of preference data. Even when only introducing one additional data collection phase, our online BPO improves its offline DAP baseline from 72.0% to 80.2% on TL;DR and from 82.2% to 89.1% on Anthropic Helpfulness in terms of win rate against human reference text.