Q-Refine: Een Perceptuele Kwaliteitsverfijner voor AI-gegenereerde Afbeeldingen
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
Auteurs: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
Samenvatting
Met de snelle evolutie van het Text-to-Image (T2I)-model in recente jaren is hun onbevredigende generatieresultaat een uitdaging geworden. Het uniform verfijnen van AI-gegenereerde afbeeldingen (AIGIs) van verschillende kwaliteiten beperkt echter niet alleen de optimalisatiemogelijkheden voor AIGIs van lage kwaliteit, maar brengt ook negatieve optimalisatie met zich mee voor AIGIs van hoge kwaliteit. Om dit probleem aan te pakken, is een kwaliteitsbelonende verfijner genaamd Q-Refine voorgesteld. Gebaseerd op de voorkeur van het menselijk visuele systeem (HVS), gebruikt Q-Refine voor het eerst de Image Quality Assessment (IQA)-metriek om het verfijningsproces te sturen en past het afbeeldingen van verschillende kwaliteiten aan via drie adaptieve pijplijnen. Experimenten tonen aan dat Q-Refine voor mainstream T2I-modellen effectieve optimalisatie kan uitvoeren op AIGIs van verschillende kwaliteiten. Het kan een algemene verfijner zijn om AIGIs te optimaliseren op zowel het niveau van trouwheid als esthetische kwaliteit, waardoor de toepassing van T2I-generatiemodellen wordt uitgebreid.
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.