M3-AGIQA: Multimodale, Multi-Ronde, Multi-Aspect Kwaliteitsbeoordeling van AI-gegenereerde Afbeeldingen

M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment

February 21, 2025

Auteurs: Chuan Cui, Kejiang Chen, Zhihua Wei, Wen Shen, Weiming Zhang, Nenghai Yu

cs.AI

Samenvatting

De snelle vooruitgang van AI-gegenereerde beeldmodellen (AGI) heeft aanzienlijke uitdagingen geïntroduceerd bij het evalueren van hun kwaliteit, waarbij meerdere dimensies zoals perceptuele kwaliteit, promptovereenkomst en authenticiteit in overweging moeten worden genomen. Om deze uitdagingen aan te pakken, stellen we M3-AGIQA voor, een uitgebreid raamwerk voor AGI-kwaliteitsbeoordeling dat Multimodaal, Multi-Rond en Multi-Aspect is. Onze aanpak maakt gebruik van de mogelijkheden van Multimodale Large Language Models (MLLMs) als gezamenlijke tekst- en beeldencoders en destilleert geavanceerde captioning-mogelijkheden van online MLLMs naar een lokaal model via Low-Rank Adaptation (LoRA) fine-tuning. Het raamwerk omvat een gestructureerd multi-rond evaluatiemechanisme, waarbij tussenliggende beeldbeschrijvingen worden gegenereerd om diepere inzichten te bieden in de kwaliteit, overeenkomst en authenticiteitsaspecten. Om voorspellingen af te stemmen op menselijke perceptuele oordelen, is een predictor geïntegreerd die bestaat uit een xLSTM en een regressiekop, om sequentiële logits te verwerken en Mean Opinion Scores (MOSs) te voorspellen. Uitgebreide experimenten uitgevoerd op meerdere benchmarkdatasets tonen aan dat M3-AGIQA state-of-the-art prestaties bereikt en effectief genuanceerde aspecten van AGI-kwaliteit vastlegt. Bovendien bevestigt cross-datasetvalidatie de sterke generaliseerbaarheid ervan. De code is beschikbaar op https://github.com/strawhatboy/M3-AGIQA.

English

The rapid advancement of AI-generated image (AGI) models has introduced significant challenges in evaluating their quality, which requires considering multiple dimensions such as perceptual quality, prompt correspondence, and authenticity. To address these challenges, we propose M3-AGIQA, a comprehensive framework for AGI quality assessment that is Multimodal, Multi-Round, and Multi-Aspect. Our approach leverages the capabilities of Multimodal Large Language Models (MLLMs) as joint text and image encoders and distills advanced captioning capabilities from online MLLMs into a local model via Low-Rank Adaptation (LoRA) fine-tuning. The framework includes a structured multi-round evaluation mechanism, where intermediate image descriptions are generated to provide deeper insights into the quality, correspondence, and authenticity aspects. To align predictions with human perceptual judgments, a predictor constructed by an xLSTM and a regression head is incorporated to process sequential logits and predict Mean Opinion Scores (MOSs). Extensive experiments conducted on multiple benchmark datasets demonstrate that M3-AGIQA achieves state-of-the-art performance, effectively capturing nuanced aspects of AGI quality. Furthermore, cross-dataset validation confirms its strong generalizability. The code is available at https://github.com/strawhatboy/M3-AGIQA.