M3-AGIQA: Multimodale, mehrstufige, multifaktorielle KI-generierte Bildqualitätsbewertung

M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment

February 21, 2025

Autoren: Chuan Cui, Kejiang Chen, Zhihua Wei, Wen Shen, Weiming Zhang, Nenghai Yu

cs.AI

Zusammenfassung

Der rasante Fortschritt von KI-generierten Bildmodellen (AGI) hat bedeutende Herausforderungen bei der Bewertung ihrer Qualität eingeführt, die die Berücksichtigung mehrerer Dimensionen wie die Wahrnehmungsqualität, prompte Übereinstimmung und Authentizität erfordert. Um diesen Herausforderungen zu begegnen, schlagen wir M3-AGIQA vor, ein umfassendes Rahmenwerk zur Bewertung der Qualität von AGI, das multimodal, mehrstufig und mehrdimensional ist. Unser Ansatz nutzt die Fähigkeiten von Multimodalen Großen Sprachmodellen (MLLMs) als gemeinsame Text- und Bildcodierer und destilliert fortgeschrittene Bildbeschreibungsfähigkeiten von Online MLLMs in ein lokales Modell über Feinabstimmung mit niedrigem Rang (LoRA). Das Rahmenwerk umfasst einen strukturierten mehrstufigen Bewertungsmechanismus, bei dem Zwischenbildbeschreibungen generiert werden, um tiefere Einblicke in die Qualität, Übereinstimmung und Authentizität zu bieten. Um Vorhersagen mit menschlichen Wahrnehmungsurteilen in Einklang zu bringen, wird ein Vorhersager, der von einem xLSTM und einem Regressionskopf konstruiert wurde, integriert, um sequenzielle Logits zu verarbeiten und durchschnittliche Meinungspunktzahlen (MOSs) vorherzusagen. Umfangreiche Experimente, die an mehreren Benchmark-Datensätzen durchgeführt wurden, zeigen, dass M3-AGIQA eine Spitzenleistung erzielt und nuancierte Aspekte der AGI-Qualität effektiv erfasst. Darüber hinaus bestätigt eine Validierung über Datensätze hinweg seine starke Verallgemeinerbarkeit. Der Code ist verfügbar unter https://github.com/strawhatboy/M3-AGIQA.

English

The rapid advancement of AI-generated image (AGI) models has introduced significant challenges in evaluating their quality, which requires considering multiple dimensions such as perceptual quality, prompt correspondence, and authenticity. To address these challenges, we propose M3-AGIQA, a comprehensive framework for AGI quality assessment that is Multimodal, Multi-Round, and Multi-Aspect. Our approach leverages the capabilities of Multimodal Large Language Models (MLLMs) as joint text and image encoders and distills advanced captioning capabilities from online MLLMs into a local model via Low-Rank Adaptation (LoRA) fine-tuning. The framework includes a structured multi-round evaluation mechanism, where intermediate image descriptions are generated to provide deeper insights into the quality, correspondence, and authenticity aspects. To align predictions with human perceptual judgments, a predictor constructed by an xLSTM and a regression head is incorporated to process sequential logits and predict Mean Opinion Scores (MOSs). Extensive experiments conducted on multiple benchmark datasets demonstrate that M3-AGIQA achieves state-of-the-art performance, effectively capturing nuanced aspects of AGI quality. Furthermore, cross-dataset validation confirms its strong generalizability. The code is available at https://github.com/strawhatboy/M3-AGIQA.