Q-Refine: AI 생성 이미지를 위한 지각적 품질 개선기
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
저자: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
초록
최근 텍스트-이미지(T2I) 모델의 급속한 발전과 함께, 그들의 만족스럽지 못한 생성 결과가 주요 과제로 대두되고 있다. 그러나 다양한 품질의 AI 생성 이미지(AIGI)를 균일하게 개선하는 것은 저품질 AIGI에 대한 최적화 능력을 제한할 뿐만 아니라 고품질 AIGI에 부정적인 최적화를 초래한다. 이러한 문제를 해결하기 위해, 품질 기반 개선기인 Q-Refine이 제안되었다. 인간 시각 시스템(HVS)의 선호도를 기반으로, Q-Refine은 이미지 품질 평가(IQA) 지표를 사용하여 처음으로 개선 과정을 안내하고, 세 가지 적응형 파이프라인을 통해 다양한 품질의 이미지를 수정한다. 실험 결과, 주류 T2I 모델에 대해 Q-Refine은 다양한 품질의 AIGI에 효과적인 최적화를 수행할 수 있음을 보여준다. 이는 충실도와 미적 품질 수준 모두에서 AIGI를 최적화할 수 있는 일반적인 개선기로, T2I 생성 모델의 응용 범위를 확장할 수 있다.
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.