VisualQuality-R1: Evaluación de Calidad de Imágenes Inducida por Razonamiento mediante Aprendizaje por Refuerzo para Clasificación

VisualQuality-R1: Reasoning-Induced Image Quality Assessment via Reinforcement Learning to Rank

May 20, 2025

Autores: Tianhe Wu, Jian Zou, Jie Liang, Lei Zhang, Kede Ma

cs.AI

Resumen

DeepSeek-R1 ha demostrado una notable efectividad para incentivar las capacidades de razonamiento y generalización de los modelos de lenguaje grandes (LLMs) mediante el aprendizaje por refuerzo. Sin embargo, el potencial del modelado computacional inducido por razonamiento no ha sido explorado a fondo en el contexto de la evaluación de la calidad de imágenes (IQA), una tarea que depende críticamente del razonamiento visual. En este artículo, presentamos VisualQuality-R1, un modelo de IQA sin referencia (NR-IQA) inducido por razonamiento, y lo entrenamos con aprendizaje por refuerzo para clasificar, un algoritmo de aprendizaje adaptado a la naturaleza intrínsecamente relativa de la calidad visual. Específicamente, para un par de imágenes, empleamos la optimización de políticas relativas por grupos para generar múltiples puntuaciones de calidad para cada imagen. Estas estimaciones se utilizan luego para calcular probabilidades comparativas de que una imagen tenga mayor calidad que la otra bajo el modelo de Thurstone. Las recompensas para cada estimación de calidad se definen utilizando medidas de fidelidad continuas en lugar de etiquetas binarias discretizadas. Experimentos exhaustivos muestran que el propuesto VisualQuality-R1 supera consistentemente a los modelos NR-IQA basados en aprendizaje profundo discriminativo, así como a un método reciente de regresión de calidad inducido por razonamiento. Además, VisualQuality-R1 es capaz de generar descripciones de calidad contextualmente ricas y alineadas con la percepción humana, y admite el entrenamiento con múltiples conjuntos de datos sin requerir realineación de escalas perceptuales. Estas características hacen que VisualQuality-R1 sea especialmente adecuado para medir de manera confiable el progreso en una amplia gama de tareas de procesamiento de imágenes, como la super-resolución y la generación de imágenes.

English

DeepSeek-R1 has demonstrated remarkable effectiveness in incentivizing reasoning and generalization capabilities of large language models (LLMs) through reinforcement learning. Nevertheless, the potential of reasoning-induced computational modeling has not been thoroughly explored in the context of image quality assessment (IQA), a task critically dependent on visual reasoning. In this paper, we introduce VisualQuality-R1, a reasoning-induced no-reference IQA (NR-IQA) model, and we train it with reinforcement learning to rank, a learning algorithm tailored to the intrinsically relative nature of visual quality. Specifically, for a pair of images, we employ group relative policy optimization to generate multiple quality scores for each image. These estimates are then used to compute comparative probabilities of one image having higher quality than the other under the Thurstone model. Rewards for each quality estimate are defined using continuous fidelity measures rather than discretized binary labels. Extensive experiments show that the proposed VisualQuality-R1 consistently outperforms discriminative deep learning-based NR-IQA models as well as a recent reasoning-induced quality regression method. Moreover, VisualQuality-R1 is capable of generating contextually rich, human-aligned quality descriptions, and supports multi-dataset training without requiring perceptual scale realignment. These features make VisualQuality-R1 especially well-suited for reliably measuring progress in a wide range of image processing tasks like super-resolution and image generation.