Verschränkter Szenengraph für die verschränkte Text- und Bildgenerierung Bewertung

Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

November 26, 2024

Autoren: Dongping Chen, Ruoxi Chen, Shu Pu, Zhaoyi Liu, Yanru Wu, Caixi Chen, Benlin Liu, Yue Huang, Yao Wan, Pan Zhou, Ranjay Krishna

cs.AI

Zusammenfassung

Viele Benutzeranfragen aus der realen Welt (z. B. "Wie macht man gebratenen Reis mit Ei?") könnten von Systemen profitieren, die in der Lage sind, Antworten mit sowohl textuellen Schritten als auch begleitenden Bildern zu generieren, ähnlich einem Kochbuch. Modelle, die entworfen wurden, um interleaved Text und Bilder zu generieren, stehen vor Herausforderungen bei der Sicherstellung von Konsistenz innerhalb und zwischen diesen Modalitäten. Um diesen Herausforderungen zu begegnen, präsentieren wir ISG, ein umfassendes Bewertungsframework für die Generierung von interleaved Text und Bildern. ISG nutzt eine Szenengraphenstruktur, um Beziehungen zwischen Text- und Bildblöcken zu erfassen, und bewertet Antworten auf vier Ebenen der Granularität: ganzheitlich, strukturell, blockweise und bildspezifisch. Diese mehrschichtige Bewertung ermöglicht eine differenzierte Bewertung von Konsistenz, Kohärenz und Genauigkeit und liefert interpretierbares Frage-Antwort-Feedback. Zusammen mit ISG führen wir einen Benchmark ein, ISG-Bench, der 1.150 Beispiele in 8 Kategorien und 21 Unterkategorien umfasst. Dieser Benchmark-Datensatz enthält komplexe Sprach-Bild-Abhängigkeiten und goldene Antworten, um Modelle effektiv bei visionszentrierten Aufgaben wie Stiltransfer zu bewerten, einem herausfordernden Bereich für aktuelle Modelle. Unter Verwendung von ISG-Bench zeigen wir, dass aktuelle vereinheitlichte Vision-Sprach-Modelle schlecht darin sind, interleaved Inhalte zu generieren. Während zusammengesetzte Ansätze, die separate Sprach- und Bildmodelle kombinieren, eine 111%ige Verbesserung gegenüber vereinheitlichten Modellen auf ganzheitlicher Ebene aufweisen, bleibt ihre Leistung sowohl auf Block- als auch auf Bildebene suboptimal. Um zukünftige Arbeiten zu erleichtern, entwickeln wir ISG-Agent, einen Grundlinien-Agenten, der einen "Plan-Ausführen-Verfeinern"-Pipeline verwendet, um Werkzeuge aufzurufen und eine Leistungsverbesserung von 122% zu erzielen.

English

Many real-world user queries (e.g. "How do to make egg fried rice?") could benefit from systems capable of generating responses with both textual steps with accompanying images, similar to a cookbook. Models designed to generate interleaved text and images face challenges in ensuring consistency within and across these modalities. To address these challenges, we present ISG, a comprehensive evaluation framework for interleaved text-and-image generation. ISG leverages a scene graph structure to capture relationships between text and image blocks, evaluating responses on four levels of granularity: holistic, structural, block-level, and image-specific. This multi-tiered evaluation allows for a nuanced assessment of consistency, coherence, and accuracy, and provides interpretable question-answer feedback. In conjunction with ISG, we introduce a benchmark, ISG-Bench, encompassing 1,150 samples across 8 categories and 21 subcategories. This benchmark dataset includes complex language-vision dependencies and golden answers to evaluate models effectively on vision-centric tasks such as style transfer, a challenging area for current models. Using ISG-Bench, we demonstrate that recent unified vision-language models perform poorly on generating interleaved content. While compositional approaches that combine separate language and image models show a 111% improvement over unified models at the holistic level, their performance remains suboptimal at both block and image levels. To facilitate future work, we develop ISG-Agent, a baseline agent employing a "plan-execute-refine" pipeline to invoke tools, achieving a 122% performance improvement.