Q-Refine: Ein Perzeptionsqualitäts-Verfeinerer für KI-generierte Bilder
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
Autoren: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
Zusammenfassung
Mit der rasanten Entwicklung von Text-zu-Bild (T2I)-Modellen in den letzten Jahren ist ihre unbefriedigende Generierungsqualität zu einer Herausforderung geworden. Die einheitliche Verbesserung von KI-generierten Bildern (AIGIs) unterschiedlicher Qualität beschränkte jedoch nicht nur die Optimierungsfähigkeiten für minderwertige AIGIs, sondern führte auch zu negativen Optimierungen bei hochwertigen AIGIs. Um dieses Problem zu lösen, wird ein Qualitäts-basierter Verfeinerer namens Q-Refine vorgeschlagen. Basierend auf den Präferenzen des menschlichen visuellen Systems (HVS) verwendet Q-Refine erstmals eine Metrik zur Bildqualitätsbewertung (IQA), um den Verfeinerungsprozess zu steuern, und modifiziert Bilder unterschiedlicher Qualität durch drei adaptive Pipelines. Experimente zeigen, dass Q-Refine für gängige T2I-Modelle eine effektive Optimierung von AIGIs unterschiedlicher Qualität durchführen kann. Es kann als allgemeiner Verfeinerer dienen, um AIGIs sowohl auf der Ebene der Detailtreue als auch der ästhetischen Qualität zu optimieren und somit die Anwendung von T2I-Generierungsmodellen zu erweitern.
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.