Q-Refine: Усовершенствователь воспринимаемого качества для изображений, созданных искусственным интеллектом
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
Авторы: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
Аннотация
С быстрым развитием моделей "Текст-в-Изображение" (T2I) в последние годы их неудовлетворительные результаты генерации стали серьезной проблемой. Однако универсальное улучшение изображений, созданных искусственным интеллектом (AIGI) разного качества, не только ограничивает возможности оптимизации для низкокачественных AIGI, но и приводит к негативной оптимизации для высококачественных. Для решения этой проблемы предложен улучшающий модуль Q-Refine, учитывающий качество. Основываясь на предпочтениях человеческой зрительной системы (HVS), Q-Refine впервые использует метрику оценки качества изображений (IQA) для управления процессом улучшения и модифицирует изображения разного качества через три адаптивных конвейера. Эксперименты показывают, что для основных моделей T2I Q-Refine способен эффективно оптимизировать AIGI различного качества. Он может служить универсальным инструментом для улучшения AIGI как с точки зрения точности, так и эстетического качества, расширяя таким образом область применения моделей генерации T2I.
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.