Graphique de scène entrelacé pour la génération entrelacée de texte et d'image Évaluation

Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

November 26, 2024

Auteurs: Dongping Chen, Ruoxi Chen, Shu Pu, Zhaoyi Liu, Yanru Wu, Caixi Chen, Benlin Liu, Yue Huang, Yao Wan, Pan Zhou, Ranjay Krishna

cs.AI

Résumé

De nombreuses requêtes d'utilisateurs du monde réel (par exemple, "Comment faire du riz frit aux œufs ?") pourraient bénéficier de systèmes capables de générer des réponses avec des étapes textuelles accompagnées d'images, similaires à un livre de cuisine. Les modèles conçus pour générer du texte et des images de manière entrelacée sont confrontés à des défis pour garantir la cohérence au sein et entre ces modalités. Pour relever ces défis, nous présentons ISG, un cadre d'évaluation complet pour la génération de texte et d'image entrelacés. ISG exploite une structure de graphe de scène pour capturer les relations entre les blocs de texte et d'image, évaluant les réponses sur quatre niveaux de granularité : holistique, structurel, au niveau du bloc et spécifique à l'image. Cette évaluation à plusieurs niveaux permet une évaluation nuancée de la cohérence, de la cohésion et de l'exactitude, et fournit des retours question-réponse interprétables. En conjonction avec ISG, nous introduisons un banc d'essai, ISG-Bench, comprenant 1 150 échantillons répartis dans 8 catégories et 21 sous-catégories. Ce jeu de données de référence inclut des dépendances complexes entre le langage et la vision ainsi que des réponses de référence pour évaluer efficacement les modèles sur des tâches centrées sur la vision telles que le transfert de style, un domaine difficile pour les modèles actuels. En utilisant ISG-Bench, nous démontrons que les récents modèles unifiés de vision-langage ont de faibles performances dans la génération de contenu entrelacé. Alors que les approches compositionnelles combinant des modèles de langage et d'image distincts montrent une amélioration de 111 % par rapport aux modèles unifiés au niveau holistique, leurs performances restent sous-optimales aux niveaux du bloc et de l'image. Pour faciliter les travaux futurs, nous développons ISG-Agent, un agent de base utilisant un pipeline "plan-exécuter-affiner" pour invoquer des outils, obtenant une amélioration de performance de 122 %.

English

Many real-world user queries (e.g. "How do to make egg fried rice?") could benefit from systems capable of generating responses with both textual steps with accompanying images, similar to a cookbook. Models designed to generate interleaved text and images face challenges in ensuring consistency within and across these modalities. To address these challenges, we present ISG, a comprehensive evaluation framework for interleaved text-and-image generation. ISG leverages a scene graph structure to capture relationships between text and image blocks, evaluating responses on four levels of granularity: holistic, structural, block-level, and image-specific. This multi-tiered evaluation allows for a nuanced assessment of consistency, coherence, and accuracy, and provides interpretable question-answer feedback. In conjunction with ISG, we introduce a benchmark, ISG-Bench, encompassing 1,150 samples across 8 categories and 21 subcategories. This benchmark dataset includes complex language-vision dependencies and golden answers to evaluate models effectively on vision-centric tasks such as style transfer, a challenging area for current models. Using ISG-Bench, we demonstrate that recent unified vision-language models perform poorly on generating interleaved content. While compositional approaches that combine separate language and image models show a 111% improvement over unified models at the holistic level, their performance remains suboptimal at both block and image levels. To facilitate future work, we develop ISG-Agent, a baseline agent employing a "plan-execute-refine" pipeline to invoke tools, achieving a 122% performance improvement.