Un cadre agentique unifié pour l'évaluation de la génération conditionnelle d'images

A Unified Agentic Framework for Evaluating Conditional Image Generation

April 9, 2025

Auteurs: Jifang Wang, Xue Yang, Longyue Wang, Zhenran Xu, Yiyu Wang, Yaowei Wang, Weihua Luo, Kaifu Zhang, Baotian Hu, Min Zhang

cs.AI

Résumé

La génération d'images conditionnelles a suscité un intérêt considérable pour sa capacité à personnaliser le contenu. Cependant, le domaine est confronté à des défis dans le développement de métriques d'évaluation fiables, explicables et indépendantes de la tâche. Cet article présente CIGEval, un cadre agentique unifié pour l'évaluation complète des tâches de génération d'images conditionnelles. CIGEval utilise des modèles multimodaux de grande taille (LMMs) comme noyau, intégrant une boîte à outils multifonctionnelle et établissant un cadre d'évaluation granulaire. De plus, nous synthétisons des trajectoires d'évaluation pour le fine-tuning, permettant à des LMMs plus petits de sélectionner de manière autonome les outils appropriés et de mener des analyses nuancées basées sur les sorties des outils. Les expériences menées sur sept tâches majeures de génération d'images conditionnelles démontrent que CIGEval (version GPT-4o) atteint une corrélation élevée de 0,4625 avec les évaluations humaines, se rapprochant de la corrélation inter-annotateurs de 0,47. Par ailleurs, lorsqu'il est implémenté avec des LMMs open-source de 7B utilisant seulement 2,3K trajectoires d'entraînement, CIGEval surpasse la méthode précédente basée sur GPT-4o, considérée comme l'état de l'art. Des études de cas sur la génération d'images avec GPT-4o mettent en évidence la capacité de CIGEval à identifier des problèmes subtils liés à la cohérence du sujet et au respect des directives de contrôle, indiquant son grand potentiel pour automatiser l'évaluation des tâches de génération d'images avec une fiabilité comparable à celle des humains.

English

Conditional image generation has gained significant attention for its ability to personalize content. However, the field faces challenges in developing task-agnostic, reliable, and explainable evaluation metrics. This paper introduces CIGEval, a unified agentic framework for comprehensive evaluation of conditional image generation tasks. CIGEval utilizes large multimodal models (LMMs) as its core, integrating a multi-functional toolbox and establishing a fine-grained evaluation framework. Additionally, we synthesize evaluation trajectories for fine-tuning, empowering smaller LMMs to autonomously select appropriate tools and conduct nuanced analyses based on tool outputs. Experiments across seven prominent conditional image generation tasks demonstrate that CIGEval (GPT-4o version) achieves a high correlation of 0.4625 with human assessments, closely matching the inter-annotator correlation of 0.47. Moreover, when implemented with 7B open-source LMMs using only 2.3K training trajectories, CIGEval surpasses the previous GPT-4o-based state-of-the-art method. Case studies on GPT-4o image generation highlight CIGEval's capability in identifying subtle issues related to subject consistency and adherence to control guidance, indicating its great potential for automating evaluation of image generation tasks with human-level reliability.