オンラインアラインメントとオフラインアラインメントアルゴリズム間の性能差の理解

Understanding the performance gap between online and offline alignment algorithms

May 14, 2024

著者: Yunhao Tang, Daniel Zhaohan Guo, Zeyu Zheng, Daniele Calandriello, Yuan Cao, Eugene Tarassov, Rémi Munos, Bernardo Ávila Pires, Michal Valko, Yong Cheng, Will Dabney

cs.AI

要旨

人間のフィードバックからの強化学習（RLHF）は、大規模言語モデルのアラインメントにおける標準的なフレームワークである。しかし、オフラインアラインメントアルゴリズムの人気の高まりは、RLHFにおけるオンラインサンプリングの必要性に疑問を投げかけている。報酬の過剰最適化の文脈において、我々はまず、オンラインメソッドがオフラインメソッドに対して明確な優位性を持つことを示す一連の実験から始める。これにより、パフォーマンスの差異の原因を探るため、慎重に設計された実験的アブレーションを実施する。我々は、オフラインデータのカバレッジやデータ品質といった仮説だけでは、このパフォーマンスの差を説得力を持って説明できないことを実証的に示す。また、オフラインアルゴリズムはポリシーをペアワイズ分類に優れるように訓練するが、生成タスクでは劣る一方で、オンラインアルゴリズムで訓練されたポリシーは生成タスクに優れるがペアワイズ分類では劣ることを発見する。これは、識別能力と生成能力の間に独特の相互作用が存在し、それがサンプリングプロセスに大きく影響を受けていることを示唆している。最後に、このパフォーマンスの差異は、コントラスティブおよび非コントラスティブな損失関数の両方で持続し、単にポリシーネットワークをスケールアップするだけでは解決されないことを観察する。全体として、本研究はAIアラインメントにおけるオンラインサンプリングの重要な役割を明らかにし、オフラインアラインメントアルゴリズムの特定の根本的な課題を示唆している。

English

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.