Um Framework Agente Unificado para Avaliação de Geração Condicional de Imagens

A Unified Agentic Framework for Evaluating Conditional Image Generation

April 9, 2025

Autores: Jifang Wang, Xue Yang, Longyue Wang, Zhenran Xu, Yiyu Wang, Yaowei Wang, Weihua Luo, Kaifu Zhang, Baotian Hu, Min Zhang

cs.AI

Resumo

A geração condicional de imagens tem ganhado atenção significativa por sua capacidade de personalizar conteúdo. No entanto, o campo enfrenta desafios no desenvolvimento de métricas de avaliação independentes de tarefa, confiáveis e explicáveis. Este artigo apresenta o CIGEval, uma estrutura agencial unificada para avaliação abrangente de tarefas de geração condicional de imagens. O CIGEval utiliza modelos multimodais de grande escala (LMMs) como núcleo, integrando uma caixa de ferramentas multifuncional e estabelecendo uma estrutura de avaliação detalhada. Além disso, sintetizamos trajetórias de avaliação para ajuste fino, capacitando LMMs menores a selecionar autonomamente ferramentas apropriadas e conduzir análises refinadas com base nos resultados das ferramentas. Experimentos em sete tarefas proeminentes de geração condicional de imagens demonstram que o CIGEval (versão GPT-4o) alcança uma alta correlação de 0,4625 com avaliações humanas, aproximando-se da correlação inter-avaliadores de 0,47. Além disso, quando implementado com LMMs de código aberto de 7B usando apenas 2,3K trajetórias de treinamento, o CIGEval supera o método anterior baseado em GPT-4o, que era o estado da arte. Estudos de caso sobre a geração de imagens com GPT-4o destacam a capacidade do CIGEval em identificar questões sutis relacionadas à consistência do assunto e à adesão à orientação de controle, indicando seu grande potencial para automatizar a avaliação de tarefas de geração de imagens com confiabilidade em nível humano.

English

Conditional image generation has gained significant attention for its ability to personalize content. However, the field faces challenges in developing task-agnostic, reliable, and explainable evaluation metrics. This paper introduces CIGEval, a unified agentic framework for comprehensive evaluation of conditional image generation tasks. CIGEval utilizes large multimodal models (LMMs) as its core, integrating a multi-functional toolbox and establishing a fine-grained evaluation framework. Additionally, we synthesize evaluation trajectories for fine-tuning, empowering smaller LMMs to autonomously select appropriate tools and conduct nuanced analyses based on tool outputs. Experiments across seven prominent conditional image generation tasks demonstrate that CIGEval (GPT-4o version) achieves a high correlation of 0.4625 with human assessments, closely matching the inter-annotator correlation of 0.47. Moreover, when implemented with 7B open-source LMMs using only 2.3K training trajectories, CIGEval surpasses the previous GPT-4o-based state-of-the-art method. Case studies on GPT-4o image generation highlight CIGEval's capability in identifying subtle issues related to subject consistency and adherence to control guidance, indicating its great potential for automating evaluation of image generation tasks with human-level reliability.