Богатая обратная связь от человека для генерации изображений по тексту
Rich Human Feedback for Text-to-Image Generation
December 15, 2023
Авторы: Youwei Liang, Junfeng He, Gang Li, Peizhao Li, Arseniy Klimovskiy, Nicholas Carolan, Jiao Sun, Jordi Pont-Tuset, Sarah Young, Feng Yang, Junjie Ke, Krishnamurthy Dj Dvijotham, Katie Collins, Yiwen Luo, Yang Li, Kai J Kohlhoff, Deepak Ramachandran, Vidhya Navalpakkam
cs.AI
Аннотация
Современные модели генерации изображений на основе текста (Text-to-Image, T2I), такие как Stable Diffusion и Imagen, достигли значительного прогресса в создании высококачественных изображений на основе текстовых описаний. Однако многие сгенерированные изображения по-прежнему страдают от таких проблем, как артефакты/неправдоподобие, несоответствие текстовым описаниям и низкая эстетическая качественность. Вдохновленные успехом обучения с подкреплением с использованием обратной связи от человека (Reinforcement Learning with Human Feedback, RLHF) для крупных языковых моделей, предыдущие работы собирали оценки, предоставленные людьми, в качестве обратной связи на сгенерированные изображения и обучали модель вознаграждения для улучшения генерации T2I. В данной работе мы обогащаем сигнал обратной связи путем (i) выделения областей изображения, которые являются неправдоподобными или не соответствуют тексту, и (ii) аннотирования слов в текстовом запросе, которые неправильно представлены или отсутствуют на изображении. Мы собираем такую расширенную обратную связь от человека для 18 тысяч сгенерированных изображений и обучаем мультимодальный трансформер для автоматического предсказания этой расширенной обратной связи. Мы показываем, что предсказанная расширенная обратная связь от человека может быть использована для улучшения генерации изображений, например, путем отбора высококачественных данных для тонкой настройки и улучшения генеративных моделей или создания масок с предсказанными тепловыми картами для восстановления проблемных областей. Примечательно, что улучшения обобщаются на модели (Muse), которые не использовались для генерации изображений, на которых собирались данные обратной связи от человека (вариации Stable Diffusion).
English
Recent Text-to-Image (T2I) generation models such as Stable Diffusion and
Imagen have made significant progress in generating high-resolution images
based on text descriptions. However, many generated images still suffer from
issues such as artifacts/implausibility, misalignment with text descriptions,
and low aesthetic quality. Inspired by the success of Reinforcement Learning
with Human Feedback (RLHF) for large language models, prior works collected
human-provided scores as feedback on generated images and trained a reward
model to improve the T2I generation. In this paper, we enrich the feedback
signal by (i) marking image regions that are implausible or misaligned with the
text, and (ii) annotating which words in the text prompt are misrepresented or
missing on the image. We collect such rich human feedback on 18K generated
images and train a multimodal transformer to predict the rich feedback
automatically. We show that the predicted rich human feedback can be leveraged
to improve image generation, for example, by selecting high-quality training
data to finetune and improve the generative models, or by creating masks with
predicted heatmaps to inpaint the problematic regions. Notably, the
improvements generalize to models (Muse) beyond those used to generate the
images on which human feedback data were collected (Stable Diffusion variants).