Een ontbrekend stuk in Visie en Taal: Een Overzicht van Strips Begrijpen

One missing piece in Vision and Language: A Survey on Comics Understanding

September 14, 2024

Auteurs: Emanuele Vivoli, Andrey Barsky, Mohamed Ali Souibgui, Artemis LLabres, Marco Bertini, Dimosthenis Karatzas

cs.AI

Samenvatting

Visie-taalmodellen zijn recentelijk geëvolueerd tot veelzijdige systemen die in staat zijn tot hoge prestaties over een reeks taken, zoals documentbegrip, visuele vraagbeantwoording en gronding, vaak in zero-shot instellingen. Begrip van strips, een complex en veelzijdig gebied, heeft veel baat bij deze vooruitgang. Strips, als medium, combineren rijke visuele en tekstuele verhalen, waarbij AI-modellen worden uitgedaagd met taken die variëren van beeldclassificatie, objectdetectie, instantiesegmentatie, tot diepere verhaalbegrip via opeenvolgende panelen. De unieke structuur van strips - gekenmerkt door creatieve variaties in stijl, leesvolgorde en niet-lineaire verhaalvertelling - presenteert echter een reeks uitdagingen die onderscheidend zijn van die in andere visueel-taalgebieden. In deze survey presenteren we een uitgebreid overzicht van het begrip van strips vanuit zowel dataset- als taalperspectieven. Onze bijdragen zijn vijfvoudig: (1) We analyseren de structuur van het stripmedium, waarbij we de onderscheidende samenstellende elementen ervan in detail beschrijven; (2) We onderzoeken de veelgebruikte datasets en taken in stripsonderzoek, waarbij we de rol ervan bij het bevorderen van het vakgebied benadrukken; (3) We introduceren het Layer of Comics Understanding (LoCU) framework, een nieuw taxonomie dat visie-taaltaken binnen strips herdefinieert en de basis legt voor toekomstig werk; (4) We bieden een gedetailleerd overzicht en categorisatie van bestaande methoden volgens het LoCU-framework; (5) Tot slot benadrukken we huidige onderzoeksuitdagingen en stellen we richtingen voor voor toekomstige verkenning, met name in de context van visie-taalmodellen toegepast op strips. Deze survey is de eerste die een op taken gericht framework voor stripintelligentie voorstelt en heeft als doel om toekomstig onderzoek te begeleiden door kritieke hiaten in gegevensbeschikbaarheid en taakdefinitie aan te pakken. Een project dat verband houdt met deze survey is beschikbaar op https://github.com/emanuelevivoli/awesome-comics-understanding.

English

Vision-language models have recently evolved into versatile systems capable of high performance across a range of tasks, such as document understanding, visual question answering, and grounding, often in zero-shot settings. Comics Understanding, a complex and multifaceted field, stands to greatly benefit from these advances. Comics, as a medium, combine rich visual and textual narratives, challenging AI models with tasks that span image classification, object detection, instance segmentation, and deeper narrative comprehension through sequential panels. However, the unique structure of comics -- characterized by creative variations in style, reading order, and non-linear storytelling -- presents a set of challenges distinct from those in other visual-language domains. In this survey, we present a comprehensive review of Comics Understanding from both dataset and task perspectives. Our contributions are fivefold: (1) We analyze the structure of the comics medium, detailing its distinctive compositional elements; (2) We survey the widely used datasets and tasks in comics research, emphasizing their role in advancing the field; (3) We introduce the Layer of Comics Understanding (LoCU) framework, a novel taxonomy that redefines vision-language tasks within comics and lays the foundation for future work; (4) We provide a detailed review and categorization of existing methods following the LoCU framework; (5) Finally, we highlight current research challenges and propose directions for future exploration, particularly in the context of vision-language models applied to comics. This survey is the first to propose a task-oriented framework for comics intelligence and aims to guide future research by addressing critical gaps in data availability and task definition. A project associated with this survey is available at https://github.com/emanuelevivoli/awesome-comics-understanding.