Comprendere il divario di prestazione tra gli algoritmi di allineamento online e offline

Understanding the performance gap between online and offline alignment algorithms

May 14, 2024

Autori: Yunhao Tang, Daniel Zhaohan Guo, Zeyu Zheng, Daniele Calandriello, Yuan Cao, Eugene Tarassov, Rémi Munos, Bernardo Ávila Pires, Michal Valko, Yong Cheng, Will Dabney

cs.AI

Abstract

L'apprendimento per rinforzo con feedback umano (RLHF) rappresenta il framework canonico per l'allineamento dei modelli linguistici di grandi dimensioni. Tuttavia, la crescente popolarità degli algoritmi di allineamento offline mette in discussione la necessità del campionamento on-policy nell'RLHF. Nel contesto dell'ottimizzazione eccessiva della ricompensa, iniziamo con una serie preliminare di esperimenti che dimostrano il chiaro vantaggio dei metodi online rispetto a quelli offline. Questo ci spinge a indagare le cause della discrepanza nelle prestazioni attraverso una serie di ablazioni sperimentali accuratamente progettate. Dimostriamo empiricamente che ipotesi come la copertura dei dati offline e la qualità dei dati di per sé non possono spiegare in modo convincente la differenza di prestazioni. Troviamo inoltre che, sebbene gli algoritmi offline addestrino la politica a eccellere nella classificazione a coppie, risultano peggiori nella generazione; nel frattempo, le politiche addestrate dagli algoritmi online sono efficaci nella generazione ma meno performanti nella classificazione a coppie. Ciò suggerisce un'interazione unica tra capacità discriminative e generative, fortemente influenzata dal processo di campionamento. Infine, osserviamo che la discrepanza nelle prestazioni persiste sia per le funzioni di perdita contrastive che non contrastive e sembra non essere risolta semplicemente aumentando la scala delle reti delle politiche. Nel complesso, il nostro studio evidenzia il ruolo cruciale del campionamento on-policy nell'allineamento dell'IA e suggerisce alcune sfide fondamentali degli algoritmi di allineamento offline.

English

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.