Ein einheitliches agentenbasiertes Framework zur Bewertung der bedingten Bildgenerierung

A Unified Agentic Framework for Evaluating Conditional Image Generation

April 9, 2025

Autoren: Jifang Wang, Xue Yang, Longyue Wang, Zhenran Xu, Yiyu Wang, Yaowei Wang, Weihua Luo, Kaifu Zhang, Baotian Hu, Min Zhang

cs.AI

Zusammenfassung

Die bedingte Bildgenerierung hat aufgrund ihrer Fähigkeit, Inhalte zu personalisieren, erhebliche Aufmerksamkeit erlangt. Allerdings steht das Feld vor Herausforderungen bei der Entwicklung von aufgabenunabhängigen, zuverlässigen und erklärbaren Bewertungsmetriken. Dieses Papier stellt CIGEval vor, einen einheitlichen agentenbasierten Rahmen für die umfassende Bewertung von Aufgaben der bedingten Bildgenerierung. CIGEval nutzt große multimodale Modelle (LMMs) als Kern, integriert ein multifunktionales Werkzeugset und etabliert ein fein abgestuftes Bewertungsrahmenwerk. Zusätzlich synthetisieren wir Bewertungstrajektorien für das Feinabstimmen, wodurch kleinere LMMs befähigt werden, autonom geeignete Werkzeuge auszuwählen und differenzierte Analysen auf der Grundlage von Werkzeugausgaben durchzuführen. Experimente über sieben bedeutende Aufgaben der bedingten Bildgenerierung zeigen, dass CIGEval (GPT-4o-Version) eine hohe Korrelation von 0,4625 mit menschlichen Bewertungen erreicht, was eng an die Inter-Annotator-Korrelation von 0,47 heranreicht. Darüber hinaus übertrifft CIGEval, wenn es mit 7B Open-Source-LMMs unter Verwendung von nur 2,3K Trainings-Trajektorien implementiert wird, die bisherige GPT-4o-basierte State-of-the-Art-Methode. Fallstudien zur GPT-4o-Bildgenerierung unterstreichen die Fähigkeit von CIGEval, subtile Probleme im Zusammenhang mit der Subjektkonsistenz und der Einhaltung von Steuerungsanleitungen zu identifizieren, was auf sein großes Potenzial für die Automatisierung der Bewertung von Bildgenerierungsaufgaben mit menschlicher Zuverlässigkeit hinweist.

English

Conditional image generation has gained significant attention for its ability to personalize content. However, the field faces challenges in developing task-agnostic, reliable, and explainable evaluation metrics. This paper introduces CIGEval, a unified agentic framework for comprehensive evaluation of conditional image generation tasks. CIGEval utilizes large multimodal models (LMMs) as its core, integrating a multi-functional toolbox and establishing a fine-grained evaluation framework. Additionally, we synthesize evaluation trajectories for fine-tuning, empowering smaller LMMs to autonomously select appropriate tools and conduct nuanced analyses based on tool outputs. Experiments across seven prominent conditional image generation tasks demonstrate that CIGEval (GPT-4o version) achieves a high correlation of 0.4625 with human assessments, closely matching the inter-annotator correlation of 0.47. Moreover, when implemented with 7B open-source LMMs using only 2.3K training trajectories, CIGEval surpasses the previous GPT-4o-based state-of-the-art method. Case studies on GPT-4o image generation highlight CIGEval's capability in identifying subtle issues related to subject consistency and adherence to control guidance, indicating its great potential for automating evaluation of image generation tasks with human-level reliability.