Ein fehlendes Puzzlestück in der Vision und Sprache: Eine Umfrage zur Verständnis von Comics

One missing piece in Vision and Language: A Survey on Comics Understanding

September 14, 2024

Autoren: Emanuele Vivoli, Andrey Barsky, Mohamed Ali Souibgui, Artemis LLabres, Marco Bertini, Dimosthenis Karatzas

cs.AI

Zusammenfassung

Vision-Sprache-Modelle haben sich kürzlich zu vielseitigen Systemen entwickelt, die in der Lage sind, eine hohe Leistung über eine Vielzahl von Aufgaben zu erbringen, wie z.B. Dokumentenverständnis, visuelle Fragebeantwortung und Verankerung, oft in Zero-Shot-Einstellungen. Comics-Verständnis, ein komplexes und vielschichtiges Feld, kann stark von diesen Fortschritten profitieren. Comics als Medium vereinen reiche visuelle und textliche Erzählungen und fordern KI-Modelle heraus, Aufgaben zu bewältigen, die von der Bildklassifizierung über die Objekterkennung und Instanzsegmentierung bis hin zum tieferen Verständnis der Erzählung durch sequenzielle Panels reichen. Die einzigartige Struktur von Comics - gekennzeichnet durch kreative Variationen im Stil, Lesereihenfolge und nicht-lineares Storytelling - stellt jedoch eine Reihe von Herausforderungen dar, die sich von denen in anderen visuell-sprachlichen Bereichen unterscheiden. In dieser Übersicht präsentieren wir eine umfassende Bewertung des Comics-Verständnisses aus Datensatz- und Aufgabenperspektiven. Unsere Beiträge sind fünffach: (1) Wir analysieren die Struktur des Comic-Mediums und erläutern seine charakteristischen kompositorischen Elemente; (2) Wir untersuchen die weit verbreiteten Datensätze und Aufgaben in der Comic-Forschung und betonen ihre Rolle bei der Weiterentwicklung des Feldes; (3) Wir stellen das Layer of Comics Understanding (LoCU)-Framework vor, eine neuartige Taxonomie, die vision-sprachliche Aufgaben innerhalb von Comics neu definiert und die Grundlage für zukünftige Arbeiten legt; (4) Wir bieten eine ausführliche Bewertung und Kategorisierung bestehender Methoden nach dem LoCU-Framework; (5) Schließlich heben wir aktuelle Forschungsherausforderungen hervor und schlagen Richtungen für zukünftige Erkundungen vor, insbesondere im Kontext von Vision-Sprache-Modellen, die auf Comics angewendet werden. Diese Übersicht ist die erste, die ein aufgabenorientiertes Framework für Comics-Intelligenz vorschlägt und zielt darauf ab, zukünftige Forschung zu leiten, indem sie kritische Lücken bei der Datenverfügbarkeit und der Aufgabendefinition anspricht. Ein mit dieser Übersicht verbundenes Projekt ist unter https://github.com/emanuelevivoli/awesome-comics-understanding verfügbar.

English

Vision-language models have recently evolved into versatile systems capable of high performance across a range of tasks, such as document understanding, visual question answering, and grounding, often in zero-shot settings. Comics Understanding, a complex and multifaceted field, stands to greatly benefit from these advances. Comics, as a medium, combine rich visual and textual narratives, challenging AI models with tasks that span image classification, object detection, instance segmentation, and deeper narrative comprehension through sequential panels. However, the unique structure of comics -- characterized by creative variations in style, reading order, and non-linear storytelling -- presents a set of challenges distinct from those in other visual-language domains. In this survey, we present a comprehensive review of Comics Understanding from both dataset and task perspectives. Our contributions are fivefold: (1) We analyze the structure of the comics medium, detailing its distinctive compositional elements; (2) We survey the widely used datasets and tasks in comics research, emphasizing their role in advancing the field; (3) We introduce the Layer of Comics Understanding (LoCU) framework, a novel taxonomy that redefines vision-language tasks within comics and lays the foundation for future work; (4) We provide a detailed review and categorization of existing methods following the LoCU framework; (5) Finally, we highlight current research challenges and propose directions for future exploration, particularly in the context of vision-language models applied to comics. This survey is the first to propose a task-oriented framework for comics intelligence and aims to guide future research by addressing critical gaps in data availability and task definition. A project associated with this survey is available at https://github.com/emanuelevivoli/awesome-comics-understanding.