Q-Refine: AI生成画像の知覚品質リファイナー
Q-Refine: A Perceptual Quality Refiner for AI-Generated Image
January 2, 2024
著者: Chunyi Li, Haoning Wu, Zicheng Zhang, Hongkun Hao, Kaiwei Zhang, Lei Bai, Xiaohong Liu, Xiongkuo Min, Weisi Lin, Guangtao Zhai
cs.AI
要旨
近年、Text-to-Image（T2I）モデルの急速な進化に伴い、その不満足な生成結果が課題となっています。しかし、異なる品質のAI生成画像（AIGI）を一律に精緻化することは、低品質なAIGIに対する最適化能力を制限するだけでなく、高品質なAIGIに対しては逆効果をもたらすこともありました。この問題を解決するため、品質に応じた精緻化ツール「Q-Refine」が提案されています。Q-Refineは、人間の視覚システム（HVS）の特性に基づき、初めて画像品質評価（IQA）指標を用いて精緻化プロセスを導き、3つの適応型パイプラインを通じて異なる品質の画像を修正します。実験結果から、Q-Refineは主要なT2Iモデルにおいて、異なる品質のAIGIに対して効果的な最適化を実現できることが示されています。これは、忠実度と美的品質の両面からAIGIを最適化する汎用精緻化ツールとして機能し、T2I生成モデルの応用範囲を拡大するものです。
English
With the rapid evolution of the Text-to-Image (T2I) model in recent years,
their unsatisfactory generation result has become a challenge. However,
uniformly refining AI-Generated Images (AIGIs) of different qualities not only
limited optimization capabilities for low-quality AIGIs but also brought
negative optimization to high-quality AIGIs. To address this issue, a
quality-award refiner named Q-Refine is proposed. Based on the preference of
the Human Visual System (HVS), Q-Refine uses the Image Quality Assessment (IQA)
metric to guide the refining process for the first time, and modify images of
different qualities through three adaptive pipelines. Experimental shows that
for mainstream T2I models, Q-Refine can perform effective optimization to AIGIs
of different qualities. It can be a general refiner to optimize AIGIs from both
fidelity and aesthetic quality levels, thus expanding the application of the
T2I generation models.