Q-Refine: Um Refinador de Qualidade Perceptiva para Imagens Geradas por IA
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
Autores: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
Resumo
Com a rápida evolução dos modelos Text-to-Image (T2I) nos últimos anos, seus resultados de geração insatisfatórios tornaram-se um desafio. No entanto, refinar uniformemente Imagens Geradas por IA (AIGIs) de diferentes qualidades não apenas limitou as capacidades de otimização para AIGIs de baixa qualidade, mas também trouxe otimização negativa para AIGIs de alta qualidade. Para resolver esse problema, é proposto um refinador baseado em qualidade chamado Q-Refine. Com base na preferência do Sistema Visual Humano (HVS), o Q-Refine utiliza a métrica de Avaliação de Qualidade de Imagem (IQA) para guiar o processo de refinamento pela primeira vez, e modifica imagens de diferentes qualidades por meio de três pipelines adaptativos. Experimentos mostram que, para modelos T2I mainstream, o Q-Refine pode realizar otimizações eficazes em AIGIs de diferentes qualidades. Ele pode ser um refinador geral para otimizar AIGIs tanto em termos de fidelidade quanto de qualidade estética, expandindo assim a aplicação dos modelos de geração T2I.
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.