Het begrijpen van het prestatieverschil tussen online en offline uitlijningsalgoritmen

Understanding the performance gap between online and offline alignment algorithms

May 14, 2024

Auteurs: Yunhao Tang, Daniel Zhaohan Guo, Zeyu Zheng, Daniele Calandriello, Yuan Cao, Eugene Tarassov, Rémi Munos, Bernardo Ávila Pires, Michal Valko, Yong Cheng, Will Dabney

cs.AI

Samenvatting

Reinforcement learning from human feedback (RLHF) is het canonieke raamwerk voor het uitlijnen van grote taalmodellen. De toenemende populariteit van offline uitlijningsalgoritmen stelt echter de noodzaak van on-policy sampling in RLHF ter discussie. Binnen de context van reward over-optimalisatie beginnen we met een eerste reeks experimenten die het duidelijke voordeel van online methoden ten opzichte van offline methoden aantonen. Dit zet ons ertoe aan de oorzaken van het prestatieverschil te onderzoeken via een reeks zorgvuldig ontworpen experimentele ablatie-experimenten. We tonen empirisch aan dat hypothesen zoals offline datadekking en dataqualiteit op zichzelf het prestatieverschil niet overtuigend kunnen verklaren. We ontdekken ook dat hoewel offline algoritmen het beleid trainen om goed te worden in paarsgewijze classificatie, het slechter presteert bij generaties; ondertussen zijn de beleidsmodellen die door online algoritmen worden getraind goed in generaties maar slechter in paarsgewijze classificatie. Dit wijst op een unieke wisselwerking tussen discriminerende en generatieve capaciteiten, die sterk wordt beïnvloed door het samplingproces. Tot slot observeren we dat het prestatieverschil aanhoudt voor zowel contrastieve als niet-contrastieve verliesfuncties, en lijkt niet te worden opgelost door simpelweg beleidsnetwerken op te schalen. Samengevat werpt onze studie licht op de cruciale rol van on-policy sampling bij AI-uitlijning, en wijst op bepaalde fundamentele uitdagingen van offline uitlijningsalgoritmen.

English

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.