Retour d'information humain enrichi pour la génération d'images à partir de texte
Rich Human Feedback for Text-to-Image Generation
December 15, 2023
Auteurs: Youwei Liang, Junfeng He, Gang Li, Peizhao Li, Arseniy Klimovskiy, Nicholas Carolan, Jiao Sun, Jordi Pont-Tuset, Sarah Young, Feng Yang, Junjie Ke, Krishnamurthy Dj Dvijotham, Katie Collins, Yiwen Luo, Yang Li, Kai J Kohlhoff, Deepak Ramachandran, Vidhya Navalpakkam
cs.AI
Résumé
Les modèles récents de génération d'images à partir de texte (Text-to-Image, T2I), tels que Stable Diffusion et Imagen, ont réalisé des progrès significatifs dans la création d'images haute résolution basées sur des descriptions textuelles. Cependant, de nombreuses images générées souffrent encore de problèmes tels que des artefacts/implausibilités, un désalignement avec les descriptions textuelles et une faible qualité esthétique. Inspirés par le succès de l'apprentissage par renforcement avec retour humain (Reinforcement Learning with Human Feedback, RLHF) pour les grands modèles de langage, des travaux antérieurs ont collecté des scores fournis par des humains comme retour sur les images générées et ont entraîné un modèle de récompense pour améliorer la génération T2I. Dans cet article, nous enrichissons le signal de retour en (i) marquant les régions de l'image qui sont implausibles ou désalignées par rapport au texte, et (ii) en annotant les mots de l'invite textuelle qui sont mal représentés ou absents sur l'image. Nous collectons un tel retour humain détaillé sur 18 000 images générées et entraînons un transformateur multimodal pour prédire automatiquement ce retour détaillé. Nous montrons que le retour humain détaillé prédit peut être exploité pour améliorer la génération d'images, par exemple en sélectionnant des données d'entraînement de haute qualité pour affiner et améliorer les modèles génératifs, ou en créant des masques avec des cartes thermiques prédites pour corriger les régions problématiques. Notamment, les améliorations se généralisent à des modèles (Muse) au-delà de ceux utilisés pour générer les images sur lesquelles les données de retour humain ont été collectées (variantes de Stable Diffusion).
English
Recent Text-to-Image (T2I) generation models such as Stable Diffusion and
Imagen have made significant progress in generating high-resolution images
based on text descriptions. However, many generated images still suffer from
issues such as artifacts/implausibility, misalignment with text descriptions,
and low aesthetic quality. Inspired by the success of Reinforcement Learning
with Human Feedback (RLHF) for large language models, prior works collected
human-provided scores as feedback on generated images and trained a reward
model to improve the T2I generation. In this paper, we enrich the feedback
signal by (i) marking image regions that are implausible or misaligned with the
text, and (ii) annotating which words in the text prompt are misrepresented or
missing on the image. We collect such rich human feedback on 18K generated
images and train a multimodal transformer to predict the rich feedback
automatically. We show that the predicted rich human feedback can be leveraged
to improve image generation, for example, by selecting high-quality training
data to finetune and improve the generative models, or by creating masks with
predicted heatmaps to inpaint the problematic regions. Notably, the
improvements generalize to models (Muse) beyond those used to generate the
images on which human feedback data were collected (Stable Diffusion variants).