Q-Refine: Un Affinatore di Qualità Percettiva per Immagini Generate dall'IA
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
Autori: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
Abstract
Con la rapida evoluzione dei modelli Text-to-Image (T2I) negli ultimi anni, i loro risultati di generazione insoddisfacenti sono diventati una sfida. Tuttavia, il perfezionamento uniforme delle immagini generate dall'IA (AIGI) di qualità diversa non solo ha limitato le capacità di ottimizzazione per le AIGI di bassa qualità, ma ha anche portato a un'ottimizzazione negativa per le AIGI di alta qualità. Per affrontare questo problema, è stato proposto un perfezionatore basato sulla qualità chiamato Q-Refine. Basandosi sulle preferenze del Sistema Visivo Umano (HVS), Q-Refine utilizza per la prima volta la metrica di Valutazione della Qualità dell'Immagine (IQA) per guidare il processo di perfezionamento e modificare le immagini di qualità diversa attraverso tre pipeline adattive. Gli esperimenti dimostrano che, per i principali modelli T2I, Q-Refine può eseguire un'ottimizzazione efficace delle AIGI di qualità diversa. Può fungere da perfezionatore generale per ottimizzare le AIGI sia a livello di fedeltà che di qualità estetica, ampliando così l'applicazione dei modelli di generazione T2I.
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.