Retroalimentación Humana Enriquecida para la Generación de Texto a Imagen

Rich Human Feedback for Text-to-Image Generation

December 15, 2023

Autores: Youwei Liang, Junfeng He, Gang Li, Peizhao Li, Arseniy Klimovskiy, Nicholas Carolan, Jiao Sun, Jordi Pont-Tuset, Sarah Young, Feng Yang, Junjie Ke, Krishnamurthy Dj Dvijotham, Katie Collins, Yiwen Luo, Yang Li, Kai J Kohlhoff, Deepak Ramachandran, Vidhya Navalpakkam

cs.AI

Resumen

Los modelos recientes de generación de texto a imagen (T2I), como Stable Diffusion e Imagen, han logrado avances significativos en la creación de imágenes de alta resolución basadas en descripciones textuales. Sin embargo, muchas de las imágenes generadas aún presentan problemas como artefactos/implausibilidad, desalineación con las descripciones textuales y baja calidad estética. Inspirados por el éxito del Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) en modelos de lenguaje grandes, trabajos previos recopilaron puntuaciones proporcionadas por humanos como retroalimentación sobre las imágenes generadas y entrenaron un modelo de recompensa para mejorar la generación T2I. En este artículo, enriquecemos la señal de retroalimentación mediante (i) la marcación de regiones de la imagen que son implausibles o están desalineadas con el texto, y (ii) la anotación de qué palabras en el texto están mal representadas o faltan en la imagen. Recopilamos esta retroalimentación humana detallada en 18K imágenes generadas y entrenamos un transformador multimodal para predecir automáticamente esta retroalimentación enriquecida. Demostramos que la retroalimentación humana enriquecida predicha puede aprovecharse para mejorar la generación de imágenes, por ejemplo, seleccionando datos de entrenamiento de alta calidad para ajustar y mejorar los modelos generativos, o creando máscaras con mapas de calor predichos para rellenar las regiones problemáticas. Notablemente, las mejoras se generalizan a modelos (Muse) más allá de aquellos utilizados para generar las imágenes sobre las cuales se recopilaron los datos de retroalimentación humana (variantes de Stable Diffusion).

English

Recent Text-to-Image (T2I) generation models such as Stable Diffusion and Imagen have made significant progress in generating high-resolution images based on text descriptions. However, many generated images still suffer from issues such as artifacts/implausibility, misalignment with text descriptions, and low aesthetic quality. Inspired by the success of Reinforcement Learning with Human Feedback (RLHF) for large language models, prior works collected human-provided scores as feedback on generated images and trained a reward model to improve the T2I generation. In this paper, we enrich the feedback signal by (i) marking image regions that are implausible or misaligned with the text, and (ii) annotating which words in the text prompt are misrepresented or missing on the image. We collect such rich human feedback on 18K generated images and train a multimodal transformer to predict the rich feedback automatically. We show that the predicted rich human feedback can be leveraged to improve image generation, for example, by selecting high-quality training data to finetune and improve the generative models, or by creating masks with predicted heatmaps to inpaint the problematic regions. Notably, the improvements generalize to models (Muse) beyond those used to generate the images on which human feedback data were collected (Stable Diffusion variants).