Gráfico de Escena Entrelazado para la Generación Entrelazada de Texto e Imágenes Evaluación

Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

November 26, 2024

Autores: Dongping Chen, Ruoxi Chen, Shu Pu, Zhaoyi Liu, Yanru Wu, Caixi Chen, Benlin Liu, Yue Huang, Yao Wan, Pan Zhou, Ranjay Krishna

cs.AI

Resumen

Muchas consultas de usuarios del mundo real (por ejemplo, "¿Cómo hacer arroz frito con huevo?") podrían beneficiarse de sistemas capaces de generar respuestas con pasos textuales acompañados de imágenes, similar a un libro de cocina. Los modelos diseñados para generar texto e imágenes entrelazados enfrentan desafíos para garantizar la consistencia dentro y entre estas modalidades. Para abordar estos desafíos, presentamos ISG, un marco de evaluación integral para la generación de texto e imagen entrelazados. ISG aprovecha una estructura de grafo de escena para capturar las relaciones entre bloques de texto e imagen, evaluando las respuestas en cuatro niveles de granularidad: holístico, estructural, a nivel de bloque y específico de imagen. Esta evaluación multinivel permite una evaluación matizada de la consistencia, coherencia y precisión, y proporciona retroalimentación interpretable de pregunta-respuesta. En conjunto con ISG, presentamos un banco de pruebas, ISG-Bench, que abarca 1,150 muestras en 8 categorías y 21 subcategorías. Este conjunto de datos de referencia incluye dependencias complejas entre lenguaje y visión, y respuestas ideales para evaluar de manera efectiva modelos en tareas centradas en la visión, como la transferencia de estilo, un área desafiante para los modelos actuales. Utilizando ISG-Bench, demostramos que los modelos recientes unificados de visión y lenguaje tienen un bajo rendimiento en la generación de contenido entrelazado. Mientras que los enfoques composicionales que combinan modelos de lenguaje e imagen por separado muestran una mejora del 111% sobre los modelos unificados a nivel holístico, su rendimiento sigue siendo subóptimo tanto a nivel de bloque como de imagen. Para facilitar el trabajo futuro, desarrollamos ISG-Agent, un agente de referencia que emplea un proceso "planificar-ejecutar-refinar" para invocar herramientas, logrando una mejora del 122% en el rendimiento.

English

Many real-world user queries (e.g. "How do to make egg fried rice?") could benefit from systems capable of generating responses with both textual steps with accompanying images, similar to a cookbook. Models designed to generate interleaved text and images face challenges in ensuring consistency within and across these modalities. To address these challenges, we present ISG, a comprehensive evaluation framework for interleaved text-and-image generation. ISG leverages a scene graph structure to capture relationships between text and image blocks, evaluating responses on four levels of granularity: holistic, structural, block-level, and image-specific. This multi-tiered evaluation allows for a nuanced assessment of consistency, coherence, and accuracy, and provides interpretable question-answer feedback. In conjunction with ISG, we introduce a benchmark, ISG-Bench, encompassing 1,150 samples across 8 categories and 21 subcategories. This benchmark dataset includes complex language-vision dependencies and golden answers to evaluate models effectively on vision-centric tasks such as style transfer, a challenging area for current models. Using ISG-Bench, we demonstrate that recent unified vision-language models perform poorly on generating interleaved content. While compositional approaches that combine separate language and image models show a 111% improvement over unified models at the holistic level, their performance remains suboptimal at both block and image levels. To facilitate future work, we develop ISG-Agent, a baseline agent employing a "plan-execute-refine" pipeline to invoke tools, achieving a 122% performance improvement.