M3-AGIQA: Evaluación Multimodal, Multironda y Multiaspecto de la Calidad de Imágenes Generadas por IA

M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment

February 21, 2025

Autores: Chuan Cui, Kejiang Chen, Zhihua Wei, Wen Shen, Weiming Zhang, Nenghai Yu

cs.AI

Resumen

El rápido avance de los modelos de imágenes generadas por IA (AGI) ha introducido desafíos significativos en la evaluación de su calidad, lo que requiere considerar múltiples dimensiones, como la calidad perceptual, la correspondencia con el prompt y la autenticidad. Para abordar estos desafíos, proponemos M3-AGIQA, un marco integral para la evaluación de la calidad de AGI que es Multimodal, Multi-Ronda y Multi-Aspecto. Nuestro enfoque aprovecha las capacidades de los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs) como codificadores conjuntos de texto e imágenes y destila capacidades avanzadas de generación de subtítulos de MLLMs en línea en un modelo local mediante ajuste fino de Adaptación de Bajo Rango (LoRA). El marco incluye un mecanismo estructurado de evaluación multi-ronda, donde se generan descripciones intermedias de imágenes para proporcionar una visión más profunda de los aspectos de calidad, correspondencia y autenticidad. Para alinear las predicciones con los juicios perceptuales humanos, se incorpora un predictor construido por un xLSTM y una cabeza de regresión para procesar logits secuenciales y predecir Puntuaciones Medias de Opinión (MOSs). Experimentos extensivos realizados en múltiples conjuntos de datos de referencia demuestran que M3-AGIQA alcanza un rendimiento de vanguardia, capturando efectivamente aspectos matizados de la calidad de AGI. Además, la validación cruzada entre conjuntos de datos confirma su fuerte generalización. El código está disponible en https://github.com/strawhatboy/M3-AGIQA.

English

The rapid advancement of AI-generated image (AGI) models has introduced significant challenges in evaluating their quality, which requires considering multiple dimensions such as perceptual quality, prompt correspondence, and authenticity. To address these challenges, we propose M3-AGIQA, a comprehensive framework for AGI quality assessment that is Multimodal, Multi-Round, and Multi-Aspect. Our approach leverages the capabilities of Multimodal Large Language Models (MLLMs) as joint text and image encoders and distills advanced captioning capabilities from online MLLMs into a local model via Low-Rank Adaptation (LoRA) fine-tuning. The framework includes a structured multi-round evaluation mechanism, where intermediate image descriptions are generated to provide deeper insights into the quality, correspondence, and authenticity aspects. To align predictions with human perceptual judgments, a predictor constructed by an xLSTM and a regression head is incorporated to process sequential logits and predict Mean Opinion Scores (MOSs). Extensive experiments conducted on multiple benchmark datasets demonstrate that M3-AGIQA achieves state-of-the-art performance, effectively capturing nuanced aspects of AGI quality. Furthermore, cross-dataset validation confirms its strong generalizability. The code is available at https://github.com/strawhatboy/M3-AGIQA.