Verständnis der Leistungsdifferenz zwischen Online- und Offline-Ausrichtungsalgorithmen

Understanding the performance gap between online and offline alignment algorithms

May 14, 2024

Autoren: Yunhao Tang, Daniel Zhaohan Guo, Zeyu Zheng, Daniele Calandriello, Yuan Cao, Eugene Tarassov, Rémi Munos, Bernardo Ávila Pires, Michal Valko, Yong Cheng, Will Dabney

cs.AI

Zusammenfassung

Das Lernen durch Verstärkung aus menschlichem Feedback (RLHF) ist der kanonische Rahmen für die Ausrichtung großer Sprachmodelle. Allerdings fordert die zunehmende Beliebtheit von Offline-Ausrichtungsalgorithmen die Notwendigkeit von On-Policy-Sampling in RLHF heraus. Im Kontext der Überoptimierung von Belohnungen beginnen wir mit einer Reihe von Experimenten, die den klaren Vorteil von Online-Methoden gegenüber Offline-Methoden aufzeigen. Dies führt uns dazu, die Ursachen für die Leistungsunterschiede durch eine Reihe sorgfältig gestalteter experimenteller Ablationen zu untersuchen. Wir zeigen empirisch, dass Hypothesen wie die Abdeckung von Offline-Daten und die Datenqualität für sich genommen den Leistungsunterschied nicht überzeugend erklären können. Wir stellen auch fest, dass während Offline-Algorithmen das Training der Richtlinie darauf abzielt, gut in der paarweisen Klassifizierung zu sein, es bei der Generierung schlechter abschneidet; währenddessen sind die Richtlinien, die von Online-Algorithmen trainiert werden, gut in der Generierung, aber schlechter in der paarweisen Klassifizierung. Dies deutet auf ein einzigartiges Zusammenspiel zwischen diskriminativen und generativen Fähigkeiten hin, das stark vom Sampling-Prozess beeinflusst wird. Schließlich beobachten wir, dass der Leistungsunterschied sowohl für kontrastive als auch für nicht-kontrastive Verlustfunktionen bestehen bleibt und anscheinend nicht durch einfaches Skalieren von Richtliniennetzwerken behoben werden kann. Zusammenfassend beleuchtet unsere Studie die entscheidende Rolle des On-Policy-Samplings bei der KI-Ausrichtung und deutet auf bestimmte grundlegende Herausforderungen von Offline-Ausrichtungsalgorithmen hin.

English

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.