SePPO: 拡散整合のための半ポリシー選好最適化

SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

October 7, 2024

著者: Daoan Zhang, Guangchen Lan, Dong-Jun Han, Wenlin Yao, Xiaoman Pan, Hongming Zhang, Mingxiao Li, Pengcheng Chen, Yu Dong, Christopher Brinton, Jiebo Luo

cs.AI

要旨

人間のフィードバックからの強化学習（RLHF）手法は、視覚生成のための拡散モデル（DMs）を微調整する方法として台頭しています。ただし、一般的に使用されるオンポリシー戦略は報酬モデルの汎化能力に制限があり、オフポリシー手法は特に視覚生成タスクにおいて大量かつ入手困難な対人アノテーションデータを必要とします。オンポリシーとオフポリシーの両方のRLHFの制限に対処するために、報酬モデルや対人アノテーションデータに依存せず、DMsを好みに整列させる好み最適化手法を提案します。具体的には、セミポリシー好み最適化（SePPO）手法を導入します。 SePPOは、以前のチェックポイントを参照モデルとして活用しながら、それらを使用してオンポリシーの参照サンプルを生成し、「負け画像」を好みのペアで置き換えます。このアプローチにより、オフポリシーの「勝ち画像」のみを使用して最適化できます。さらに、ポリシースペースでの探索を拡大するための参照モデル選択戦略を設計します。特筆すべきは、参照サンプルを単なる学習のための負例として扱うのではなく、アンカーベースの基準を設計して、参照サンプルが勝ち画像または負け画像である可能性を評価し、モデルが生成された参照サンプルから選択的に学習できるようにします。このアプローチにより、参照サンプルの品質の不確実性による性能の低下が緩和されます。我々は、テキストから画像へのベンチマークとテキストからビデオへのベンチマークの両方でSePPOを検証します。 SePPOは、テキストから画像へのベンチマークで以前のアプローチを凌駕し、テキストからビデオへのベンチマークでも優れたパフォーマンスを示します。コードはhttps://github.com/DwanZhang-AI/SePPOで公開されます。

English

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace "losing images" in preference pairs. This approach allows us to optimize using only off-policy "winning images." Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.