VisualQuality-R1: Valutazione della Qualità dell'Immagine Indotta dal Ragionamento tramite Apprendimento per Rinforzo per il Ranking

VisualQuality-R1: Reasoning-Induced Image Quality Assessment via Reinforcement Learning to Rank

May 20, 2025

Autori: Tianhe Wu, Jian Zou, Jie Liang, Lei Zhang, Kede Ma

cs.AI

Abstract

DeepSeek-R1 ha dimostrato una notevole efficacia nell'incentivare le capacità di ragionamento e generalizzazione dei grandi modelli linguistici (LLMs) attraverso l'apprendimento per rinforzo. Tuttavia, il potenziale della modellazione computazionale indotta dal ragionamento non è stato approfonditamente esplorato nel contesto della valutazione della qualità delle immagini (IQA), un compito che dipende in modo critico dal ragionamento visivo. In questo articolo, introduciamo VisualQuality-R1, un modello di IQA senza riferimento (NR-IQA) indotto dal ragionamento, e lo addestriamo con l'apprendimento per rinforzo per il ranking, un algoritmo di apprendimento adattato alla natura intrinsecamente relativa della qualità visiva. Nello specifico, per una coppia di immagini, utilizziamo l'ottimizzazione della politica relativa di gruppo per generare più punteggi di qualità per ciascuna immagine. Queste stime vengono poi utilizzate per calcolare le probabilità comparative che un'immagine abbia una qualità superiore rispetto all'altra secondo il modello di Thurstone. Le ricompense per ciascuna stima di qualità sono definite utilizzando misure di fedeltà continua piuttosto che etichette binarie discretizzate. Esperimenti estensivi dimostrano che il modello proposto VisualQuality-R1 supera costantemente i modelli NR-IQA basati sull'apprendimento profondo discriminativo, nonché un recente metodo di regressione della qualità indotto dal ragionamento. Inoltre, VisualQuality-R1 è in grado di generare descrizioni della qualità contestualmente ricche e allineate con il giudizio umano, e supporta l'addestramento su più dataset senza richiedere il riallineamento della scala percettiva. Queste caratteristiche rendono VisualQuality-R1 particolarmente adatto per misurare in modo affidabile i progressi in un'ampia gamma di compiti di elaborazione delle immagini come la super-risoluzione e la generazione di immagini.

English

DeepSeek-R1 has demonstrated remarkable effectiveness in incentivizing reasoning and generalization capabilities of large language models (LLMs) through reinforcement learning. Nevertheless, the potential of reasoning-induced computational modeling has not been thoroughly explored in the context of image quality assessment (IQA), a task critically dependent on visual reasoning. In this paper, we introduce VisualQuality-R1, a reasoning-induced no-reference IQA (NR-IQA) model, and we train it with reinforcement learning to rank, a learning algorithm tailored to the intrinsically relative nature of visual quality. Specifically, for a pair of images, we employ group relative policy optimization to generate multiple quality scores for each image. These estimates are then used to compute comparative probabilities of one image having higher quality than the other under the Thurstone model. Rewards for each quality estimate are defined using continuous fidelity measures rather than discretized binary labels. Extensive experiments show that the proposed VisualQuality-R1 consistently outperforms discriminative deep learning-based NR-IQA models as well as a recent reasoning-induced quality regression method. Moreover, VisualQuality-R1 is capable of generating contextually rich, human-aligned quality descriptions, and supports multi-dataset training without requiring perceptual scale realignment. These features make VisualQuality-R1 especially well-suited for reliably measuring progress in a wide range of image processing tasks like super-resolution and image generation.