テキストから画像生成のための豊富な人間フィードバック

Rich Human Feedback for Text-to-Image Generation

December 15, 2023

著者: Youwei Liang, Junfeng He, Gang Li, Peizhao Li, Arseniy Klimovskiy, Nicholas Carolan, Jiao Sun, Jordi Pont-Tuset, Sarah Young, Feng Yang, Junjie Ke, Krishnamurthy Dj Dvijotham, Katie Collins, Yiwen Luo, Yang Li, Kai J Kohlhoff, Deepak Ramachandran, Vidhya Navalpakkam

cs.AI

要旨

近年、Stable DiffusionやImagenなどのText-to-Image（T2I）生成モデルは、テキスト記述に基づく高解像度画像の生成において著しい進展を遂げている。しかし、生成された画像の多くは、アーティファクトや不自然さ、テキスト記述との不一致、美的品質の低さといった問題を依然として抱えている。大規模言語モデルにおける人間のフィードバックを用いた強化学習（RLHF）の成功に触発され、先行研究では、生成された画像に対する人間によるスコアをフィードバックとして収集し、報酬モデルを訓練することでT2I生成の改善を図ってきた。本論文では、フィードバック信号をさらに充実させるため、(i) テキストと不一致または不自然な画像領域をマークし、(ii) テキストプロンプトのどの単語が画像で誤って表現されているか、または欠落しているかを注釈する。我々は、18,000枚の生成画像に対してこのような詳細な人間のフィードバックを収集し、マルチモーダルトランスフォーマーを訓練して、そのフィードバックを自動的に予測する。予測された詳細な人間のフィードバックは、例えば、高品質な訓練データを選択して生成モデルのファインチューニングや改善を行うことや、予測されたヒートマップを用いて問題のある領域を修復するマスクを作成することなど、画像生成の改善に活用できることを示す。特に、この改善は、人間のフィードバックデータが収集された画像を生成したモデル（Stable Diffusionの派生モデル）を超えて、他のモデル（Muse）にも一般化されることが注目される。

English

Recent Text-to-Image (T2I) generation models such as Stable Diffusion and Imagen have made significant progress in generating high-resolution images based on text descriptions. However, many generated images still suffer from issues such as artifacts/implausibility, misalignment with text descriptions, and low aesthetic quality. Inspired by the success of Reinforcement Learning with Human Feedback (RLHF) for large language models, prior works collected human-provided scores as feedback on generated images and trained a reward model to improve the T2I generation. In this paper, we enrich the feedback signal by (i) marking image regions that are implausible or misaligned with the text, and (ii) annotating which words in the text prompt are misrepresented or missing on the image. We collect such rich human feedback on 18K generated images and train a multimodal transformer to predict the rich feedback automatically. We show that the predicted rich human feedback can be leveraged to improve image generation, for example, by selecting high-quality training data to finetune and improve the generative models, or by creating masks with predicted heatmaps to inpaint the problematic regions. Notably, the improvements generalize to models (Muse) beyond those used to generate the images on which human feedback data were collected (Stable Diffusion variants).