M3-AGIQA : Évaluation Multimodale, Multi-Tours et Multi-Aspects de la Qualité des Images Générées par IA

M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment

February 21, 2025

Auteurs: Chuan Cui, Kejiang Chen, Zhihua Wei, Wen Shen, Weiming Zhang, Nenghai Yu

cs.AI

Résumé

L'avancée rapide des modèles d'images générées par IA (AGI) a introduit des défis significatifs dans l'évaluation de leur qualité, nécessitant la prise en compte de multiples dimensions telles que la qualité perceptuelle, la correspondance avec l'invite et l'authenticité. Pour relever ces défis, nous proposons M3-AGIQA, un cadre complet d'évaluation de la qualité des AGI qui est Multimodal, Multi-Tours et Multi-Aspects. Notre approche exploite les capacités des Modèles de Langage Multimodaux (MLLMs) en tant qu'encodeurs conjoints de texte et d'images, et distille des capacités avancées de description à partir de MLLMs en ligne dans un modèle local via un réglage fin par Adaptation à Faible Rang (LoRA). Le cadre inclut un mécanisme d'évaluation structuré en plusieurs tours, où des descriptions intermédiaires d'images sont générées pour fournir des insights plus profonds sur les aspects de qualité, correspondance et authenticité. Pour aligner les prédictions avec les jugements perceptuels humains, un prédicteur construit par un xLSTM et une tête de régression est intégré pour traiter les logits séquentiels et prédire les Scores Moyens d'Opinion (MOS). Des expériences approfondies menées sur plusieurs ensembles de données de référence démontrent que M3-AGIQA atteint des performances de pointe, capturant efficacement les aspects nuancés de la qualité des AGI. De plus, une validation croisée sur différents ensembles de données confirme sa forte généralisabilité. Le code est disponible à l'adresse https://github.com/strawhatboy/M3-AGIQA.

English

The rapid advancement of AI-generated image (AGI) models has introduced significant challenges in evaluating their quality, which requires considering multiple dimensions such as perceptual quality, prompt correspondence, and authenticity. To address these challenges, we propose M3-AGIQA, a comprehensive framework for AGI quality assessment that is Multimodal, Multi-Round, and Multi-Aspect. Our approach leverages the capabilities of Multimodal Large Language Models (MLLMs) as joint text and image encoders and distills advanced captioning capabilities from online MLLMs into a local model via Low-Rank Adaptation (LoRA) fine-tuning. The framework includes a structured multi-round evaluation mechanism, where intermediate image descriptions are generated to provide deeper insights into the quality, correspondence, and authenticity aspects. To align predictions with human perceptual judgments, a predictor constructed by an xLSTM and a regression head is incorporated to process sequential logits and predict Mean Opinion Scores (MOSs). Extensive experiments conducted on multiple benchmark datasets demonstrate that M3-AGIQA achieves state-of-the-art performance, effectively capturing nuanced aspects of AGI quality. Furthermore, cross-dataset validation confirms its strong generalizability. The code is available at https://github.com/strawhatboy/M3-AGIQA.