Понимание разрыва в производительности между алгоритмами выравнивания онлайн и оффлайн.

Understanding the performance gap between online and offline alignment algorithms

May 14, 2024

Авторы: Yunhao Tang, Daniel Zhaohan Guo, Zeyu Zheng, Daniele Calandriello, Yuan Cao, Eugene Tarassov, Rémi Munos, Bernardo Ávila Pires, Michal Valko, Yong Cheng, Will Dabney

cs.AI

Аннотация

Обучение с подкреплением на основе обратной связи от человека (RLHF) является канонической структурой для выравнивания больших языковых моделей. Однако растущая популярность алгоритмов офлайн-выравнивания вызывает сомнения в необходимости выборки по политике в RLHF. В контексте переоптимизации вознаграждения мы начинаем с серии экспериментов, которые демонстрируют явное преимущество онлайн-методов перед офлайн-методами. Это побуждает нас исследовать причины различий в производительности через серию тщательно разработанных экспериментальных абляций. Мы эмпирически показываем, что гипотезы, такие как покрытие офлайн-данных и их качество, самостоятельно не могут убедительно объяснить разницу в производительности. Мы также обнаруживаем, что в то время как офлайн-алгоритмы обучают политику становиться хорошей в парной классификации, они хуже в генерации; в то время как политики, обученные онлайн-алгоритмами, хороши в генерации, но хуже в парной классификации. Это намекает на уникальное взаимодействие между дискриминативными и генеративными способностями, которое сильно зависит от процесса выборки. Наконец, мы наблюдаем, что разница в производительности сохраняется как для контрастных, так и для неконтрастных функций потерь, и, кажется, не решается простым масштабированием сетей политики. В целом, наше исследование проливает свет на ключевую роль выборки по политике в выравнивании ИИ и намекает на определенные фундаментальные проблемы алгоритмов офлайн-выравнивания.

English

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.