Un élément manquant dans la Vision et le Langage : Une enquête sur la compréhension des bandes dessinées

One missing piece in Vision and Language: A Survey on Comics Understanding

September 14, 2024

Auteurs: Emanuele Vivoli, Andrey Barsky, Mohamed Ali Souibgui, Artemis LLabres, Marco Bertini, Dimosthenis Karatzas

cs.AI

Résumé

Les modèles vision-langage ont récemment évolué en systèmes polyvalents capables de performances élevées dans une variété de tâches, telles que la compréhension de documents, la réponse à des questions visuelles et l'ancrage, souvent dans des configurations de zéro-shot. La compréhension des bandes dessinées, domaine complexe et multifacette, a beaucoup à gagner de ces avancées. Les bandes dessinées, en tant que médium, combinent des récits visuels et textuels riches, défiant les modèles d'IA avec des tâches allant de la classification d'images à la détection d'objets, en passant par la segmentation d'instances et une compréhension narrative plus approfondie à travers des cases séquentielles. Cependant, la structure unique des bandes dessinées - caractérisée par des variations créatives de style, d'ordre de lecture et de narration non linéaire - présente un ensemble de défis distincts de ceux des autres domaines vision-langage. Dans cette étude, nous présentons une revue complète de la compréhension des bandes dessinées sous les perspectives des ensembles de données et des tâches. Nos contributions sont cinq : (1) Nous analysons la structure du médium des bandes dessinées, en détaillant ses éléments compositionnels distinctifs ; (2) Nous passons en revue les ensembles de données et les tâches largement utilisés dans la recherche sur les bandes dessinées, en soulignant leur rôle dans l'avancement du domaine ; (3) Nous introduisons le cadre Layer of Comics Understanding (LoCU), une nouvelle taxonomie qui redéfinit les tâches vision-langage dans les bandes dessinées et pose les bases pour les travaux futurs ; (4) Nous fournissons une revue détaillée et une catégorisation des méthodes existantes suivant le cadre LoCU ; (5) Enfin, nous mettons en lumière les défis actuels de la recherche et proposons des orientations pour des explorations futures, notamment dans le contexte des modèles vision-langage appliqués aux bandes dessinées. Cette étude est la première à proposer un cadre orienté vers les tâches pour l'intelligence des bandes dessinées et vise à guider la recherche future en comblant les lacunes critiques en termes de disponibilité des données et de définition des tâches. Un projet associé à cette étude est disponible sur https://github.com/emanuelevivoli/awesome-comics-understanding.

English

Vision-language models have recently evolved into versatile systems capable of high performance across a range of tasks, such as document understanding, visual question answering, and grounding, often in zero-shot settings. Comics Understanding, a complex and multifaceted field, stands to greatly benefit from these advances. Comics, as a medium, combine rich visual and textual narratives, challenging AI models with tasks that span image classification, object detection, instance segmentation, and deeper narrative comprehension through sequential panels. However, the unique structure of comics -- characterized by creative variations in style, reading order, and non-linear storytelling -- presents a set of challenges distinct from those in other visual-language domains. In this survey, we present a comprehensive review of Comics Understanding from both dataset and task perspectives. Our contributions are fivefold: (1) We analyze the structure of the comics medium, detailing its distinctive compositional elements; (2) We survey the widely used datasets and tasks in comics research, emphasizing their role in advancing the field; (3) We introduce the Layer of Comics Understanding (LoCU) framework, a novel taxonomy that redefines vision-language tasks within comics and lays the foundation for future work; (4) We provide a detailed review and categorization of existing methods following the LoCU framework; (5) Finally, we highlight current research challenges and propose directions for future exploration, particularly in the context of vision-language models applied to comics. This survey is the first to propose a task-oriented framework for comics intelligence and aims to guide future research by addressing critical gaps in data availability and task definition. A project associated with this survey is available at https://github.com/emanuelevivoli/awesome-comics-understanding.