Feedback Humano Rico para Geração de Texto em Imagem
Rich Human Feedback for Text-to-Image Generation
December 15, 2023
Autores: Youwei Liang, Junfeng He, Gang Li, Peizhao Li, Arseniy Klimovskiy, Nicholas Carolan, Jiao Sun, Jordi Pont-Tuset, Sarah Young, Feng Yang, Junjie Ke, Krishnamurthy Dj Dvijotham, Katie Collins, Yiwen Luo, Yang Li, Kai J Kohlhoff, Deepak Ramachandran, Vidhya Navalpakkam
cs.AI
Resumo
Modelos recentes de geração de Texto para Imagem (T2I), como Stable Diffusion e Imagen, fizeram progressos significativos na criação de imagens de alta resolução com base em descrições textuais. No entanto, muitas imagens geradas ainda apresentam problemas como artefatos/implausibilidade, desalinhamento com as descrições textuais e baixa qualidade estética. Inspirados pelo sucesso do Aprendizado por Reforço com Feedback Humano (RLHF) para grandes modelos de linguagem, trabalhos anteriores coletaram pontuações fornecidas por humanos como feedback sobre as imagens geradas e treinaram um modelo de recompensa para melhorar a geração T2I. Neste artigo, enriquecemos o sinal de feedback (i) marcando regiões da imagem que são implausíveis ou desalinhadas com o texto e (ii) anotando quais palavras no prompt textual estão mal representadas ou ausentes na imagem. Coletamos esse feedback humano detalhado em 18 mil imagens geradas e treinamos um transformador multimodal para prever automaticamente o feedback detalhado. Mostramos que o feedback humano detalhado previsto pode ser utilizado para melhorar a geração de imagens, por exemplo, selecionando dados de treinamento de alta qualidade para ajustar e aprimorar os modelos generativos ou criando máscaras com mapas de calor previstos para reconstruir as regiões problemáticas. Notavelmente, as melhorias generalizam para modelos (Muse) além daqueles usados para gerar as imagens nas quais os dados de feedback humano foram coletados (variantes do Stable Diffusion).
English
Recent Text-to-Image (T2I) generation models such as Stable Diffusion and
Imagen have made significant progress in generating high-resolution images
based on text descriptions. However, many generated images still suffer from
issues such as artifacts/implausibility, misalignment with text descriptions,
and low aesthetic quality. Inspired by the success of Reinforcement Learning
with Human Feedback (RLHF) for large language models, prior works collected
human-provided scores as feedback on generated images and trained a reward
model to improve the T2I generation. In this paper, we enrich the feedback
signal by (i) marking image regions that are implausible or misaligned with the
text, and (ii) annotating which words in the text prompt are misrepresented or
missing on the image. We collect such rich human feedback on 18K generated
images and train a multimodal transformer to predict the rich feedback
automatically. We show that the predicted rich human feedback can be leveraged
to improve image generation, for example, by selecting high-quality training
data to finetune and improve the generative models, or by creating masks with
predicted heatmaps to inpaint the problematic regions. Notably, the
improvements generalize to models (Muse) beyond those used to generate the
images on which human feedback data were collected (Stable Diffusion variants).