Onderlinge Scene Graph voor Onderlinge Tekst-en-Afbeelding Generatie Evaluatie

Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

November 26, 2024

Auteurs: Dongping Chen, Ruoxi Chen, Shu Pu, Zhaoyi Liu, Yanru Wu, Caixi Chen, Benlin Liu, Yue Huang, Yao Wan, Pan Zhou, Ranjay Krishna

cs.AI

Samenvatting

Veel gebruikersvragen in de echte wereld (bijv. "Hoe maak je gebakken rijst met ei?") zouden baat kunnen hebben bij systemen die in staat zijn om antwoorden te genereren met zowel tekstuele stappen als bijbehorende afbeeldingen, vergelijkbaar met een kookboek. Modellen die zijn ontworpen om afwisselend tekst en afbeeldingen te genereren, worden geconfronteerd met uitdagingen om consistentie te waarborgen binnen en tussen deze modaliteiten. Om deze uitdagingen aan te pakken, presenteren we ISG, een uitgebreid evaluatiekader voor afwisselende tekst-en-afbeelding generatie. ISG maakt gebruik van een scène grafiekstructuur om relaties tussen tekst- en afbeeldingsblokken vast te leggen, waarbij antwoorden worden geëvalueerd op vier niveaus van granulariteit: holistisch, structureel, blokniveau en beeldspecifiek. Deze meerlaagse evaluatie maakt een genuanceerde beoordeling van consistentie, samenhang en nauwkeurigheid mogelijk, en biedt interpreteerbare vraag-antwoord feedback. Samen met ISG introduceren we een benchmark, ISG-Bench, met in totaal 1.150 voorbeelden verdeeld over 8 categorieën en 21 subcategorieën. Deze benchmark dataset omvat complexe taal-visuele afhankelijkheden en gouden antwoorden om modellen effectief te evalueren op visiegerichte taken zoals stijloverdracht, een uitdagend gebied voor huidige modellen. Door ISG-Bench te gebruiken, tonen we aan dat recente verenigde visie-taalmodellen slecht presteren bij het genereren van afwisselende inhoud. Hoewel compositorische benaderingen die afzonderlijke taal- en beeldmodellen combineren een verbetering van 111% laten zien ten opzichte van verenigde modellen op holistisch niveau, blijft hun prestatie suboptimaal op zowel blok- als beeldniveaus. Om toekomstig werk te vergemakkelijken, ontwikkelen we ISG-Agent, een basisagent die een "plan-uitvoer-verfijn" pijplijn hanteert om tools aan te roepen, wat resulteert in een prestatieverbetering van 122%.

English

Many real-world user queries (e.g. "How do to make egg fried rice?") could benefit from systems capable of generating responses with both textual steps with accompanying images, similar to a cookbook. Models designed to generate interleaved text and images face challenges in ensuring consistency within and across these modalities. To address these challenges, we present ISG, a comprehensive evaluation framework for interleaved text-and-image generation. ISG leverages a scene graph structure to capture relationships between text and image blocks, evaluating responses on four levels of granularity: holistic, structural, block-level, and image-specific. This multi-tiered evaluation allows for a nuanced assessment of consistency, coherence, and accuracy, and provides interpretable question-answer feedback. In conjunction with ISG, we introduce a benchmark, ISG-Bench, encompassing 1,150 samples across 8 categories and 21 subcategories. This benchmark dataset includes complex language-vision dependencies and golden answers to evaluate models effectively on vision-centric tasks such as style transfer, a challenging area for current models. Using ISG-Bench, we demonstrate that recent unified vision-language models perform poorly on generating interleaved content. While compositional approaches that combine separate language and image models show a 111% improvement over unified models at the holistic level, their performance remains suboptimal at both block and image levels. To facilitate future work, we develop ISG-Agent, a baseline agent employing a "plan-execute-refine" pipeline to invoke tools, achieving a 122% performance improvement.