온라인 및 오프라인 정렬 알고리즘 간의 성능 격차 이해

Understanding the performance gap between online and offline alignment algorithms

May 14, 2024

저자: Yunhao Tang, Daniel Zhaohan Guo, Zeyu Zheng, Daniele Calandriello, Yuan Cao, Eugene Tarassov, Rémi Munos, Bernardo Ávila Pires, Michal Valko, Yong Cheng, Will Dabney

cs.AI

초록

인간 피드백을 통한 강화 학습(RLHF)은 대규모 언어 모델 정렬을 위한 표준 프레임워크입니다. 그러나 오프라인 정렬 알고리즘의 인기가 높아지면서 RLHF에서 온-폴리시 샘플링의 필요성에 의문이 제기되고 있습니다. 보과 최적화의 맥락에서, 우리는 온라인 방법이 오프라인 방법보다 명확한 우위를 점한다는 것을 보여주는 초기 실험 세트로 시작합니다. 이는 우리가 신중하게 설계된 일련의 실험적 제거를 통해 성능 차이의 원인을 조사하도록 이끕니다. 우리는 오프라인 데이터 커버리지와 데이터 품질과 같은 가설만으로는 성능 차이를 설득력 있게 설명할 수 없다는 것을 실증적으로 보여줍니다. 또한 오프라인 알고리즘이 정책을 쌍별 분류에 능숙하게 훈련시키는 반면, 생성에서는 더 나쁘다는 것을 발견했습니다. 반면 온라인 알고리즘으로 훈련된 정책은 생성에는 능숙하지만 쌍별 분류에서는 더 나쁩니다. 이는 판별 능력과 생성 능력 사이의 독특한 상호작용을 암시하며, 이는 샘플링 과정에 크게 영향을 받습니다. 마지막으로, 우리는 성능 차이가 대조적 및 비대조적 손실 함수 모두에서 지속되며, 단순히 정책 네트워크를 확장하는 것으로는 해결되지 않는 것으로 관찰했습니다. 종합적으로, 우리의 연구는 AI 정렬에서 온-폴리시 샘플링의 중추적인 역할을 밝히고, 오프라인 정렬 알고리즘의 근본적인 어려움을 암시합니다.

English

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.