Un pezzo mancante in Visione e Linguaggio: Una panoramica sui fumetti Understanding

One missing piece in Vision and Language: A Survey on Comics Understanding

September 14, 2024

Autori: Emanuele Vivoli, Andrey Barsky, Mohamed Ali Souibgui, Artemis LLabres, Marco Bertini, Dimosthenis Karatzas

cs.AI

Abstract

I modelli visione-linguaggio si sono recentemente evoluti in sistemi versatili capaci di ottenere elevate prestazioni in una vasta gamma di compiti, come la comprensione dei documenti, il rispondere a domande visive e la localizzazione, spesso in contesti a zero shot. La comprensione dei fumetti, un campo complesso e sfaccettato, potrebbe trarre grandi benefici da questi progressi. I fumetti, come medium, combinano ricche narrazioni visive e testuali, mettendo alla prova i modelli di intelligenza artificiale con compiti che spaziano dalla classificazione delle immagini, alla rilevazione degli oggetti, alla segmentazione delle istanze e alla comprensione più profonda della narrazione attraverso pannelli sequenziali. Tuttavia, la struttura unica dei fumetti - caratterizzata da variazioni creative nello stile, nell'ordine di lettura e nella narrazione non lineare - presenta una serie di sfide diverse da quelle in altri domini visione-linguaggio. In questa panoramica, presentiamo una revisione completa della comprensione dei fumetti sia dal punto di vista dei dataset che dei compiti. Le nostre contribuzioni sono cinque: (1) Analizziamo la struttura del medium dei fumetti, dettagliando i suoi elementi compositivi distintivi; (2) Esaminiamo i dataset e i compiti ampiamente utilizzati nella ricerca sui fumetti, sottolineandone il ruolo nel progresso del campo; (3) Introduciamo il framework Layer of Comics Understanding (LoCU), una nuova tassonomia che ridefinisce i compiti visione-linguaggio all'interno dei fumetti e getta le basi per futuri lavori; (4) Forniamo una revisione dettagliata e una categorizzazione dei metodi esistenti seguendo il framework LoCU; (5) Infine, evidenziamo le attuali sfide di ricerca e proponiamo direzioni per future esplorazioni, in particolare nel contesto dei modelli visione-linguaggio applicati ai fumetti. Questa panoramica è la prima a proporre un framework orientato ai compiti per l'intelligenza dei fumetti e mira a guidare la ricerca futura affrontando lacune critiche nella disponibilità dei dati e nella definizione dei compiti. Un progetto associato a questa panoramica è disponibile su https://github.com/emanuelevivoli/awesome-comics-understanding.

English

Vision-language models have recently evolved into versatile systems capable of high performance across a range of tasks, such as document understanding, visual question answering, and grounding, often in zero-shot settings. Comics Understanding, a complex and multifaceted field, stands to greatly benefit from these advances. Comics, as a medium, combine rich visual and textual narratives, challenging AI models with tasks that span image classification, object detection, instance segmentation, and deeper narrative comprehension through sequential panels. However, the unique structure of comics -- characterized by creative variations in style, reading order, and non-linear storytelling -- presents a set of challenges distinct from those in other visual-language domains. In this survey, we present a comprehensive review of Comics Understanding from both dataset and task perspectives. Our contributions are fivefold: (1) We analyze the structure of the comics medium, detailing its distinctive compositional elements; (2) We survey the widely used datasets and tasks in comics research, emphasizing their role in advancing the field; (3) We introduce the Layer of Comics Understanding (LoCU) framework, a novel taxonomy that redefines vision-language tasks within comics and lays the foundation for future work; (4) We provide a detailed review and categorization of existing methods following the LoCU framework; (5) Finally, we highlight current research challenges and propose directions for future exploration, particularly in the context of vision-language models applied to comics. This survey is the first to propose a task-oriented framework for comics intelligence and aims to guide future research by addressing critical gaps in data availability and task definition. A project associated with this survey is available at https://github.com/emanuelevivoli/awesome-comics-understanding.