Q-Refine: Un refinador de calidad perceptual para imágenes generadas por IA
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
Autores: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
Resumen
Con la rápida evolución del modelo de Texto a Imagen (T2I) en los últimos años, sus resultados de generación insatisfactorios se han convertido en un desafío. Sin embargo, refinar de manera uniforme las Imágenes Generadas por IA (AIGIs) de diferentes calidades no solo limitó las capacidades de optimización para AIGIs de baja calidad, sino que también generó una optimización negativa para AIGIs de alta calidad. Para abordar este problema, se propone un refinador basado en calidad llamado Q-Refine. Basándose en la preferencia del Sistema Visual Humano (HVS), Q-Refine utiliza la métrica de Evaluación de Calidad de Imagen (IQA) para guiar el proceso de refinamiento por primera vez, y modifica imágenes de diferentes calidades a través de tres pipelines adaptativos. Los experimentos muestran que, para los modelos T2I principales, Q-Refine puede realizar una optimización efectiva en AIGIs de diferentes calidades. Puede ser un refinador general para optimizar AIGIs tanto en niveles de fidelidad como de calidad estética, ampliando así la aplicación de los modelos de generación T2I.
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.