Un Marco Agéntico Unificado para la Evaluación de la Generación Condicional de Imágenes

A Unified Agentic Framework for Evaluating Conditional Image Generation

April 9, 2025

Autores: Jifang Wang, Xue Yang, Longyue Wang, Zhenran Xu, Yiyu Wang, Yaowei Wang, Weihua Luo, Kaifu Zhang, Baotian Hu, Min Zhang

cs.AI

Resumen

La generación condicional de imágenes ha ganado una atención significativa por su capacidad para personalizar contenido. Sin embargo, el campo enfrenta desafíos en el desarrollo de métricas de evaluación confiables, explicables y agnósticas a la tarea. Este artículo presenta CIGEval, un marco agente unificado para la evaluación integral de tareas de generación condicional de imágenes. CIGEval utiliza modelos multimodales grandes (LMMs) como su núcleo, integrando una caja de herramientas multifuncional y estableciendo un marco de evaluación de grano fino. Además, sintetizamos trayectorias de evaluación para ajuste fino, permitiendo que LMMs más pequeños seleccionen herramientas apropiadas de manera autónoma y realicen análisis matizados basados en los resultados de las herramientas. Los experimentos en siete tareas destacadas de generación condicional de imágenes demuestran que CIGEval (versión GPT-4o) alcanza una alta correlación de 0.4625 con evaluaciones humanas, acercándose a la correlación inter-anotadores de 0.47. Además, cuando se implementa con LMMs de código abierto de 7B utilizando solo 2.3K trayectorias de entrenamiento, CIGEval supera el método anterior basado en GPT-4o de última generación. Estudios de caso sobre la generación de imágenes con GPT-4o destacan la capacidad de CIGEval para identificar problemas sutiles relacionados con la consistencia del sujeto y la adherencia a la guía de control, indicando su gran potencial para automatizar la evaluación de tareas de generación de imágenes con una confiabilidad comparable a la humana.

English

Conditional image generation has gained significant attention for its ability to personalize content. However, the field faces challenges in developing task-agnostic, reliable, and explainable evaluation metrics. This paper introduces CIGEval, a unified agentic framework for comprehensive evaluation of conditional image generation tasks. CIGEval utilizes large multimodal models (LMMs) as its core, integrating a multi-functional toolbox and establishing a fine-grained evaluation framework. Additionally, we synthesize evaluation trajectories for fine-tuning, empowering smaller LMMs to autonomously select appropriate tools and conduct nuanced analyses based on tool outputs. Experiments across seven prominent conditional image generation tasks demonstrate that CIGEval (GPT-4o version) achieves a high correlation of 0.4625 with human assessments, closely matching the inter-annotator correlation of 0.47. Moreover, when implemented with 7B open-source LMMs using only 2.3K training trajectories, CIGEval surpasses the previous GPT-4o-based state-of-the-art method. Case studies on GPT-4o image generation highlight CIGEval's capability in identifying subtle issues related to subject consistency and adherence to control guidance, indicating its great potential for automating evaluation of image generation tasks with human-level reliability.