Compreendendo a lacuna de desempenho entre algoritmos de alinhamento online e offline

Understanding the performance gap between online and offline alignment algorithms

May 14, 2024

Autores: Yunhao Tang, Daniel Zhaohan Guo, Zeyu Zheng, Daniele Calandriello, Yuan Cao, Eugene Tarassov, Rémi Munos, Bernardo Ávila Pires, Michal Valko, Yong Cheng, Will Dabney

cs.AI

Resumo

O aprendizado por reforço com feedback humano (RLHF) é o framework canônico para o alinhamento de modelos de linguagem de grande escala. No entanto, a crescente popularidade de algoritmos de alinhamento offline desafia a necessidade de amostragem on-policy no RLHF. No contexto da superotimização de recompensas, iniciamos com um conjunto inicial de experimentos que demonstram a clara vantagem dos métodos online sobre os métodos offline. Isso nos leva a investigar as causas da discrepância de desempenho por meio de uma série de ablações experimentais cuidadosamente projetadas. Mostramos empiricamente que hipóteses como cobertura de dados offline e qualidade dos dados por si só não conseguem explicar de forma convincente a diferença de desempenho. Também descobrimos que, embora os algoritmos offline treinem a política para se tornarem bons em classificação pareada, eles são piores em gerações; enquanto isso, as políticas treinadas por algoritmos online são boas em gerações, mas piores em classificação pareada. Isso sugere uma interação única entre capacidades discriminativas e generativas, que é grandemente impactada pelo processo de amostragem. Por fim, observamos que a discrepância de desempenho persiste tanto para funções de perda contrastivas quanto não contrastivas, e parece não ser resolvida simplesmente escalando as redes de políticas. Em conjunto, nosso estudo lança luz sobre o papel crucial da amostragem on-policy no alinhamento de IA e sugere certos desafios fundamentais dos algoritmos de alinhamento offline.

English

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.