Q-Refine : Un raffineur de qualité perceptuelle pour les images générées par IA
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
Auteurs: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
Résumé
Avec l'évolution rapide des modèles de génération de texte à image (Text-to-Image, T2I) ces dernières années, leurs résultats de génération insatisfaisants sont devenus un défi. Cependant, le raffinement uniforme des images générées par IA (AIGIs) de différentes qualités non seulement limite les capacités d'optimisation pour les AIGIs de faible qualité, mais entraîne également une optimisation négative pour les AIGIs de haute qualité. Pour résoudre ce problème, un raffineur basé sur la qualité, nommé Q-Refine, est proposé. En s'appuyant sur les préférences du système visuel humain (Human Visual System, HVS), Q-Refine utilise pour la première fois une métrique d'évaluation de la qualité d'image (Image Quality Assessment, IQA) pour guider le processus de raffinement et modifier les images de différentes qualités à travers trois pipelines adaptatifs. Les expériences montrent que, pour les modèles T2I dominants, Q-Refine peut effectuer une optimisation efficace des AIGIs de différentes qualités. Il peut servir de raffineur général pour optimiser les AIGIs à la fois en termes de fidélité et de qualité esthétique, élargissant ainsi les applications des modèles de génération T2I.
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.