VisualQuality-R1: Reasoning-induzierte Bildqualitätsbewertung durch Reinforcement Learning zur Rangfolgebestimmung

VisualQuality-R1: Reasoning-Induced Image Quality Assessment via Reinforcement Learning to Rank

May 20, 2025

Autoren: Tianhe Wu, Jian Zou, Jie Liang, Lei Zhang, Kede Ma

cs.AI

Zusammenfassung

DeepSeek-R1 hat bemerkenswerte Wirksamkeit bei der Förderung von Schlussfolgerungs- und Generalisierungsfähigkeiten großer Sprachmodelle (LLMs) durch Reinforcement Learning gezeigt. Dennoch wurde das Potenzial von schlussfolgerungsinduzierten Computermodellen im Kontext der Bildqualitätsbewertung (IQA), einer Aufgabe, die entscheidend von visueller Schlussfolgerung abhängt, noch nicht umfassend erforscht. In diesem Artikel stellen wir VisualQuality-R1 vor, ein schlussfolgerungsinduziertes No-Reference-IQA-Modell (NR-IQA), das wir mit Reinforcement Learning to Rank trainieren, einem Lernalgorithmus, der auf die intrinsisch relative Natur der visuellen Qualität zugeschnitten ist. Konkret verwenden wir für ein Bildpaar die Gruppen-Relative-Policy-Optimierung, um mehrere Qualitätsbewertungen für jedes Bild zu generieren. Diese Schätzungen werden dann verwendet, um vergleichende Wahrscheinlichkeiten zu berechnen, dass ein Bild eine höhere Qualität als das andere hat, basierend auf dem Thurstone-Modell. Belohnungen für jede Qualitätsschätzung werden mithilfe kontinuierlicher Treue-Maße definiert, anstatt diskretisierter binärer Labels. Umfangreiche Experimente zeigen, dass das vorgeschlagene VisualQuality-R1 durchweg diskriminative, auf Deep Learning basierende NR-IQA-Modelle sowie eine kürzlich entwickelte schlussfolgerungsinduzierte Qualitätsregressionsmethode übertrifft. Darüber hinaus ist VisualQuality-R1 in der Lage, kontextuell reichhaltige, menschlich ausgerichtete Qualitätsbeschreibungen zu generieren, und unterstützt Multi-Dataset-Training ohne die Notwendigkeit einer Wahrnehmungsskalennachjustierung. Diese Eigenschaften machen VisualQuality-R1 besonders gut geeignet für die zuverlässige Messung von Fortschritten in einer Vielzahl von Bildverarbeitungsaufgaben wie Super-Resolution und Bildgenerierung.

English

DeepSeek-R1 has demonstrated remarkable effectiveness in incentivizing reasoning and generalization capabilities of large language models (LLMs) through reinforcement learning. Nevertheless, the potential of reasoning-induced computational modeling has not been thoroughly explored in the context of image quality assessment (IQA), a task critically dependent on visual reasoning. In this paper, we introduce VisualQuality-R1, a reasoning-induced no-reference IQA (NR-IQA) model, and we train it with reinforcement learning to rank, a learning algorithm tailored to the intrinsically relative nature of visual quality. Specifically, for a pair of images, we employ group relative policy optimization to generate multiple quality scores for each image. These estimates are then used to compute comparative probabilities of one image having higher quality than the other under the Thurstone model. Rewards for each quality estimate are defined using continuous fidelity measures rather than discretized binary labels. Extensive experiments show that the proposed VisualQuality-R1 consistently outperforms discriminative deep learning-based NR-IQA models as well as a recent reasoning-induced quality regression method. Moreover, VisualQuality-R1 is capable of generating contextually rich, human-aligned quality descriptions, and supports multi-dataset training without requiring perceptual scale realignment. These features make VisualQuality-R1 especially well-suited for reliably measuring progress in a wide range of image processing tasks like super-resolution and image generation.