テキストから画像生成のためのスケーラブルなランク付けされた選好最適化

Scalable Ranked Preference Optimization for Text-to-Image Generation

October 23, 2024

著者: Shyamgopal Karthik, Huseyin Coskun, Zeynep Akata, Sergey Tulyakov, Jian Ren, Anil Kag

cs.AI

要旨

直接選好最適化（DPO）は、テキストから画像へのモデルを人間のフィードバックと整合させるための強力な手法として登場しています。残念ながら、T2IモデルにDPOを成功裏に適用するには、人間の選好で注釈付けされた大規模なデータセットを収集するために膨大なリソースが必要です。例えば、数百万の生成されたペア画像が含まれます。さらに、T2Iモデルの急速な改善により画質が向上すると、これらの人間の選好データセットはすぐに時代遅れになる可能性があります。本研究では、DPOトレーニング用の大規模かつ完全合成データセットを収集するためのスケーラブルなアプローチを調査しています。具体的には、ペア画像の選好は事前にトレーニングされた報酬関数を使用して生成され、人間を注釈付けプロセスに巻き込む必要がなくなり、データセットの収集効率が大幅に向上します。さらに、このようなデータセットを使用することで、複数のモデル間で予測を平均化し、対の選好ではなくランク付けされた選好を収集することが可能であることを示します。さらに、ランクフィードバックを使用してDPOベースの手法を強化するRankDPOを紹介します。我々が合成生成した選好データセット「Syn-Pic」を用いて、SDXLおよびSD3-MediumモデルにRankDPOを適用すると、T2I-Compbench、GenEval、DPG-Benchなどのベンチマークにおけるプロンプトに従う能力と視覚的品質が向上します（ユーザースタディを通じて）。このパイプラインは、テキストから画像へのモデルの性能を向上させるためのより良い選好データセットを開発するための実用的でスケーラブルなソリューションを提供します。

English

Direct Preference Optimization (DPO) has emerged as a powerful approach to align text-to-image (T2I) models with human feedback. Unfortunately, successful application of DPO to T2I models requires a huge amount of resources to collect and label large-scale datasets, e.g., millions of generated paired images annotated with human preferences. In addition, these human preference datasets can get outdated quickly as the rapid improvements of T2I models lead to higher quality images. In this work, we investigate a scalable approach for collecting large-scale and fully synthetic datasets for DPO training. Specifically, the preferences for paired images are generated using a pre-trained reward function, eliminating the need for involving humans in the annotation process, greatly improving the dataset collection efficiency. Moreover, we demonstrate that such datasets allow averaging predictions across multiple models and collecting ranked preferences as opposed to pairwise preferences. Furthermore, we introduce RankDPO to enhance DPO-based methods using the ranking feedback. Applying RankDPO on SDXL and SD3-Medium models with our synthetically generated preference dataset ``Syn-Pic'' improves both prompt-following (on benchmarks like T2I-Compbench, GenEval, and DPG-Bench) and visual quality (through user studies). This pipeline presents a practical and scalable solution to develop better preference datasets to enhance the performance of text-to-image models.