Een Verenigd Agentisch Raamwerk voor de Evaluatie van Conditionele Beeldgeneratie

A Unified Agentic Framework for Evaluating Conditional Image Generation

April 9, 2025

Auteurs: Jifang Wang, Xue Yang, Longyue Wang, Zhenran Xu, Yiyu Wang, Yaowei Wang, Weihua Luo, Kaifu Zhang, Baotian Hu, Min Zhang

cs.AI

Samenvatting

Conditionele beeldgeneratie heeft aanzienlijke aandacht gekregen vanwege het vermogen om inhoud te personaliseren. Het veld wordt echter geconfronteerd met uitdagingen bij het ontwikkelen van taak-agnostische, betrouwbare en verklaarbare evaluatiemetrics. Dit artikel introduceert CIGEval, een uniform agent-gebaseerd raamwerk voor uitgebreide evaluatie van conditionele beeldgeneratietaken. CIGEval maakt gebruik van grote multimodale modellen (LMMs) als kern, integreert een multifunctionele toolbox en stelt een fijnmazig evaluatieraamwerk op. Daarnaast synthetiseren we evaluatietrajecten voor fine-tuning, waardoor kleinere LMMs in staat worden gesteld om autonoom geschikte tools te selecteren en genuanceerde analyses uit te voeren op basis van tool-outputs. Experimenten over zeven prominente conditionele beeldgeneratietaken tonen aan dat CIGEval (GPT-4o-versie) een hoge correlatie van 0,4625 bereikt met menselijke beoordelingen, wat nauw aansluit bij de inter-annotatorcorrelatie van 0,47. Bovendien overtreft CIGEval, wanneer geïmplementeerd met 7B open-source LMMs met slechts 2,3K trainings-trajecten, de vorige GPT-4o-gebaseerde state-of-the-art methode. Casestudies over GPT-4o-beeldgeneratie benadrukken de capaciteit van CIGEval om subtiele problemen te identificeren die verband houden met onderwerpconsistentie en naleving van controle-richtlijnen, wat wijst op het grote potentieel voor het automatiseren van de evaluatie van beeldgeneratietaken met menselijke betrouwbaarheid.

English

Conditional image generation has gained significant attention for its ability to personalize content. However, the field faces challenges in developing task-agnostic, reliable, and explainable evaluation metrics. This paper introduces CIGEval, a unified agentic framework for comprehensive evaluation of conditional image generation tasks. CIGEval utilizes large multimodal models (LMMs) as its core, integrating a multi-functional toolbox and establishing a fine-grained evaluation framework. Additionally, we synthesize evaluation trajectories for fine-tuning, empowering smaller LMMs to autonomously select appropriate tools and conduct nuanced analyses based on tool outputs. Experiments across seven prominent conditional image generation tasks demonstrate that CIGEval (GPT-4o version) achieves a high correlation of 0.4625 with human assessments, closely matching the inter-annotator correlation of 0.47. Moreover, when implemented with 7B open-source LMMs using only 2.3K training trajectories, CIGEval surpasses the previous GPT-4o-based state-of-the-art method. Case studies on GPT-4o image generation highlight CIGEval's capability in identifying subtle issues related to subject consistency and adherence to control guidance, indicating its great potential for automating evaluation of image generation tasks with human-level reliability.