M3-AGIQA: Avaliação Multimodal, Multi-Rodada e Multi-Aspecto da Qualidade de Imagens Geradas por IA

M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment

February 21, 2025

Autores: Chuan Cui, Kejiang Chen, Zhihua Wei, Wen Shen, Weiming Zhang, Nenghai Yu

cs.AI

Resumo

O rápido avanço dos modelos de geração de imagens por IA (AGI) introduziu desafios significativos na avaliação de sua qualidade, o que requer a consideração de múltiplas dimensões, como qualidade perceptual, correspondência ao prompt e autenticidade. Para enfrentar esses desafios, propomos o M3-AGIQA, um framework abrangente para avaliação da qualidade de AGI que é Multimodal, Multi-Round e Multi-Aspecto. Nossa abordagem aproveita as capacidades dos Modelos de Linguagem Multimodal de Grande Escala (MLLMs) como codificadores conjuntos de texto e imagem e destila capacidades avançadas de legendagem de MLLMs online em um modelo local por meio de ajuste fino via Adaptação de Baixa Ordem (LoRA). O framework inclui um mecanismo estruturado de avaliação multi-round, onde descrições intermediárias de imagens são geradas para fornecer insights mais profundos sobre os aspectos de qualidade, correspondência e autenticidade. Para alinhar as previsões com os julgamentos perceptivos humanos, um preditor construído por um xLSTM e uma cabeça de regressão é incorporado para processar logits sequenciais e prever Pontuações Médias de Opinião (MOSs). Experimentos extensivos conduzidos em múltiplos conjuntos de dados de referência demonstram que o M3-AGIQA alcança desempenho de ponta, capturando efetivamente aspectos sutis da qualidade de AGI. Além disso, a validação cruzada entre conjuntos de dados confirma sua forte generalizabilidade. O código está disponível em https://github.com/strawhatboy/M3-AGIQA.

English

The rapid advancement of AI-generated image (AGI) models has introduced significant challenges in evaluating their quality, which requires considering multiple dimensions such as perceptual quality, prompt correspondence, and authenticity. To address these challenges, we propose M3-AGIQA, a comprehensive framework for AGI quality assessment that is Multimodal, Multi-Round, and Multi-Aspect. Our approach leverages the capabilities of Multimodal Large Language Models (MLLMs) as joint text and image encoders and distills advanced captioning capabilities from online MLLMs into a local model via Low-Rank Adaptation (LoRA) fine-tuning. The framework includes a structured multi-round evaluation mechanism, where intermediate image descriptions are generated to provide deeper insights into the quality, correspondence, and authenticity aspects. To align predictions with human perceptual judgments, a predictor constructed by an xLSTM and a regression head is incorporated to process sequential logits and predict Mean Opinion Scores (MOSs). Extensive experiments conducted on multiple benchmark datasets demonstrate that M3-AGIQA achieves state-of-the-art performance, effectively capturing nuanced aspects of AGI quality. Furthermore, cross-dataset validation confirms its strong generalizability. The code is available at https://github.com/strawhatboy/M3-AGIQA.