条件付き画像生成を評価するための統合エージェントフレームワーク

A Unified Agentic Framework for Evaluating Conditional Image Generation

April 9, 2025

著者: Jifang Wang, Xue Yang, Longyue Wang, Zhenran Xu, Yiyu Wang, Yaowei Wang, Weihua Luo, Kaifu Zhang, Baotian Hu, Min Zhang

cs.AI

要旨

条件付き画像生成は、コンテンツのパーソナライゼーション能力において注目を集めています。しかし、この分野では、タスクに依存せず、信頼性が高く、説明可能な評価指標の開発が課題となっています。本論文では、条件付き画像生成タスクの包括的な評価のための統一的なエージェントフレームワークであるCIGEvalを提案します。CIGEvalは、大規模マルチモーダルモデル（LMM）を中核として活用し、多機能ツールボックスを統合し、きめ細かい評価フレームワークを確立します。さらに、評価軌跡を合成してファインチューニングを行い、より小さなLMMが適切なツールを自律的に選択し、ツールの出力に基づいて微妙な分析を行うことを可能にします。7つの主要な条件付き画像生成タスクでの実験により、CIGEval（GPT-4oバージョン）は人間の評価との高い相関0.4625を達成し、アノテーター間の相関0.47に近い結果を示しました。さらに、7BのオープンソースLMMを用いてわずか2.3Kのトレーニング軌跡で実装した場合、CIGEvalは以前のGPT-4oベースの最先端手法を上回りました。GPT-4oの画像生成に関するケーススタディでは、CIGEvalが被写体の一貫性や制御ガイダンスの遵守に関わる微妙な問題を特定する能力を示し、人間レベルの信頼性で画像生成タスクの評価を自動化するための大きな可能性を示しています。

English

Conditional image generation has gained significant attention for its ability to personalize content. However, the field faces challenges in developing task-agnostic, reliable, and explainable evaluation metrics. This paper introduces CIGEval, a unified agentic framework for comprehensive evaluation of conditional image generation tasks. CIGEval utilizes large multimodal models (LMMs) as its core, integrating a multi-functional toolbox and establishing a fine-grained evaluation framework. Additionally, we synthesize evaluation trajectories for fine-tuning, empowering smaller LMMs to autonomously select appropriate tools and conduct nuanced analyses based on tool outputs. Experiments across seven prominent conditional image generation tasks demonstrate that CIGEval (GPT-4o version) achieves a high correlation of 0.4625 with human assessments, closely matching the inter-annotator correlation of 0.47. Moreover, when implemented with 7B open-source LMMs using only 2.3K training trajectories, CIGEval surpasses the previous GPT-4o-based state-of-the-art method. Case studies on GPT-4o image generation highlight CIGEval's capability in identifying subtle issues related to subject consistency and adherence to control guidance, indicating its great potential for automating evaluation of image generation tasks with human-level reliability.