Один недостающий элемент в области визуального и языкового взаимодействия: обзор по комиксам.

One missing piece in Vision and Language: A Survey on Comics Understanding

September 14, 2024

Авторы: Emanuele Vivoli, Andrey Barsky, Mohamed Ali Souibgui, Artemis LLabres, Marco Bertini, Dimosthenis Karatzas

cs.AI

Аннотация

Модели видео-языка недавно превратились в универсальные системы, способные демонстрировать высокую производительность в широком спектре задач, таких как понимание документов, визуальное ответ на вопросы и опора, часто в условиях нулевой обучающей выборки. Понимание комиксов, сложное и многогранные область, может значительно выиграть от этих достижений. Комиксы, как средство, объединяют в себе богатые визуальные и текстовые повествования, представляя для моделей искусственного интеллекта задачи, охватывающие классификацию изображений, обнаружение объектов, сегментацию экземпляров и более глубокое понимание повествования через последовательные панели. Однако уникальная структура комиксов - характеризующаяся творческими вариациями в стиле, порядке чтения и нелинейном повествовании - представляет собой ряд проблем, отличных от других областей визуально-языковых доменов. В данном обзоре мы представляем всесторонний обзор Понимания комиксов с точки зрения как набора данных, так и задач. Наши вклады состоят в следующем: (1) Мы анализируем структуру средства комиксов, детализируя его характерные композиционные элементы; (2) Мы обзорно рассматриваем широко используемые наборы данных и задачи в исследованиях комиксов, подчеркивая их роль в продвижении области; (3) Мы представляем рамочное понимание комиксов (LoCU), новую таксономию, которая переопределяет задачи видео-языка в рамках комиксов и заложит основу для будущих работ; (4) Мы предоставляем детальный обзор и категоризацию существующих методов в соответствии с рамочным пониманием комиксов; (5) Наконец, мы выделяем текущие исследовательские проблемы и предлагаем направления для будущего исследования, особенно в контексте применения моделей видео-языка к комиксам. Этот обзор является первым, предлагающим задачно-ориентированную рамку для интеллекта комиксов и направлен на руководство будущим исследованиям путем решения критических пробелов в доступности данных и определения задач. Проект, связанный с этим обзором, доступен по ссылке https://github.com/emanuelevivoli/awesome-comics-understanding.

English

Vision-language models have recently evolved into versatile systems capable of high performance across a range of tasks, such as document understanding, visual question answering, and grounding, often in zero-shot settings. Comics Understanding, a complex and multifaceted field, stands to greatly benefit from these advances. Comics, as a medium, combine rich visual and textual narratives, challenging AI models with tasks that span image classification, object detection, instance segmentation, and deeper narrative comprehension through sequential panels. However, the unique structure of comics -- characterized by creative variations in style, reading order, and non-linear storytelling -- presents a set of challenges distinct from those in other visual-language domains. In this survey, we present a comprehensive review of Comics Understanding from both dataset and task perspectives. Our contributions are fivefold: (1) We analyze the structure of the comics medium, detailing its distinctive compositional elements; (2) We survey the widely used datasets and tasks in comics research, emphasizing their role in advancing the field; (3) We introduce the Layer of Comics Understanding (LoCU) framework, a novel taxonomy that redefines vision-language tasks within comics and lays the foundation for future work; (4) We provide a detailed review and categorization of existing methods following the LoCU framework; (5) Finally, we highlight current research challenges and propose directions for future exploration, particularly in the context of vision-language models applied to comics. This survey is the first to propose a task-oriented framework for comics intelligence and aims to guide future research by addressing critical gaps in data availability and task definition. A project associated with this survey is available at https://github.com/emanuelevivoli/awesome-comics-understanding.