Gráfico de Cena Entrelaçado para Geração Entrelaçada de Texto e Imagem Avaliação

Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

November 26, 2024

Autores: Dongping Chen, Ruoxi Chen, Shu Pu, Zhaoyi Liu, Yanru Wu, Caixi Chen, Benlin Liu, Yue Huang, Yao Wan, Pan Zhou, Ranjay Krishna

cs.AI

Resumo

Muitas consultas de usuários do mundo real (por exemplo, "Como fazer arroz frito com ovo?") poderiam se beneficiar de sistemas capazes de gerar respostas com etapas textuais acompanhadas de imagens, semelhante a um livro de receitas. Modelos projetados para gerar texto e imagens entrelaçados enfrentam desafios em garantir consistência dentro e entre essas modalidades. Para lidar com esses desafios, apresentamos ISG, um framework abrangente de avaliação para geração de texto e imagem entrelaçados. ISG utiliza uma estrutura de grafo de cena para capturar as relações entre blocos de texto e imagem, avaliando as respostas em quatro níveis de granularidade: holístico, estrutural, nível de bloco e específico de imagem. Essa avaliação em vários níveis permite uma avaliação sutil de consistência, coerência e precisão, e fornece feedback de pergunta-resposta interpretável. Em conjunto com ISG, introduzimos um benchmark, ISG-Bench, abrangendo 1.150 amostras em 8 categorias e 21 subcategorias. Este conjunto de dados de benchmark inclui dependências complexas entre linguagem e visão e respostas ideais para avaliar modelos de forma eficaz em tarefas centradas em visão, como transferência de estilo, uma área desafiadora para os modelos atuais. Usando ISG-Bench, demonstramos que os modelos recentes unificados de visão e linguagem têm baixo desempenho na geração de conteúdo entrelaçado. Enquanto abordagens compostas que combinam modelos separados de linguagem e imagem mostram uma melhoria de 111% sobre os modelos unificados no nível holístico, seu desempenho permanece subótimo nos níveis de bloco e imagem. Para facilitar trabalhos futuros, desenvolvemos ISG-Agent, um agente de linha de base que emprega um pipeline "planejar-executar-aperfeiçoar" para invocar ferramentas, alcançando uma melhoria de desempenho de 122%.

English

Many real-world user queries (e.g. "How do to make egg fried rice?") could benefit from systems capable of generating responses with both textual steps with accompanying images, similar to a cookbook. Models designed to generate interleaved text and images face challenges in ensuring consistency within and across these modalities. To address these challenges, we present ISG, a comprehensive evaluation framework for interleaved text-and-image generation. ISG leverages a scene graph structure to capture relationships between text and image blocks, evaluating responses on four levels of granularity: holistic, structural, block-level, and image-specific. This multi-tiered evaluation allows for a nuanced assessment of consistency, coherence, and accuracy, and provides interpretable question-answer feedback. In conjunction with ISG, we introduce a benchmark, ISG-Bench, encompassing 1,150 samples across 8 categories and 21 subcategories. This benchmark dataset includes complex language-vision dependencies and golden answers to evaluate models effectively on vision-centric tasks such as style transfer, a challenging area for current models. Using ISG-Bench, we demonstrate that recent unified vision-language models perform poorly on generating interleaved content. While compositional approaches that combine separate language and image models show a 111% improvement over unified models at the holistic level, their performance remains suboptimal at both block and image levels. To facilitate future work, we develop ISG-Agent, a baseline agent employing a "plan-execute-refine" pipeline to invoke tools, achieving a 122% performance improvement.