SePPO: Полуоптимизация предпочтений политики для выравнивания диффузии

SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

October 7, 2024

Авторы: Daoan Zhang, Guangchen Lan, Dong-Jun Han, Wenlin Yao, Xiaoman Pan, Hongming Zhang, Mingxiao Li, Pengcheng Chen, Yu Dong, Christopher Brinton, Jiebo Luo

cs.AI

Аннотация

Методы обучения с подкреплением на основе обратной связи от человека (RLHF) становятся все более популярным способом настройки моделей диффузии (DMs) для визуальной генерации. Однако широко используемые стратегии on-policy ограничены способностью обобщения модели вознаграждения, в то время как подходы off-policy требуют больших объемов сложно получаемых парных данных с аннотациями от людей, особенно в задачах визуальной генерации. Для преодоления ограничений как on-policy, так и off-policy RLHF, мы предлагаем метод оптимизации предпочтений, который выравнивает DMs с предпочтениями без использования моделей вознаграждения или парных данных с аннотациями от людей. Конкретно, мы представляем метод Semi-Policy Preference Optimization (SePPO). SePPO использует предыдущие контрольные точки в качестве моделей-ссылок, используя их для генерации образцов on-policy, которые заменяют "проигрышные изображения" в парах предпочтений. Этот подход позволяет нам оптимизировать, используя только off-policy "выигрышные изображения". Более того, мы разрабатываем стратегию выбора модели-ссылки, которая расширяет исследование в пространстве политики. Важно отметить, что мы не просто рассматриваем образцы-ссылки как отрицательные примеры для обучения. Вместо этого мы разрабатываем критерий на основе якорей для оценки того, вероятно ли, что образцы-ссылки будут выигрышными или проигрышными изображениями, что позволяет модели выборочно учиться на сгенерированных образцах-ссылках. Этот подход смягчает деградацию производительности, вызванную неопределенностью в качестве образцов-ссылок. Мы проверяем SePPO на бенчмарках как по тексту к изображению, так и по тексту к видео. SePPO превосходит все предыдущие подходы на бенчмарках по тексту к изображению и также демонстрирует выдающуюся производительность на бенчмарках по тексту к видео. Код будет опубликован на https://github.com/DwanZhang-AI/SePPO.

English

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace "losing images" in preference pairs. This approach allows us to optimize using only off-policy "winning images." Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.