Uma peça em falta em Visão e Linguagem: Uma Pesquisa sobre a Compreensão de Quadrinhos

One missing piece in Vision and Language: A Survey on Comics Understanding

September 14, 2024

Autores: Emanuele Vivoli, Andrey Barsky, Mohamed Ali Souibgui, Artemis LLabres, Marco Bertini, Dimosthenis Karatzas

cs.AI

Resumo

Os modelos de visão e linguagem evoluíram recentemente para sistemas versáteis capazes de alto desempenho em uma variedade de tarefas, como compreensão de documentos, resposta a perguntas visuais e ancoragem, frequentemente em configurações de zero-shot. A compreensão de quadrinhos, um campo complexo e multifacetado, tem muito a se beneficiar desses avanços. Os quadrinhos, como meio, combinam narrativas visuais e textuais ricas, desafiando os modelos de IA com tarefas que abrangem classificação de imagens, detecção de objetos, segmentação de instâncias e compreensão narrativa mais profunda por meio de painéis sequenciais. No entanto, a estrutura única dos quadrinhos - caracterizada por variações criativas em estilo, ordem de leitura e narrativa não linear - apresenta um conjunto de desafios distintos daqueles em outros domínios de visão e linguagem. Nesta pesquisa, apresentamos uma revisão abrangente da Compreensão de Quadrinhos tanto do ponto de vista de conjunto de dados quanto de tarefas. Nossas contribuições são cinco: (1) Analisamos a estrutura do meio dos quadrinhos, detalhando seus elementos composicionais distintivos; (2) Pesquisamos os conjuntos de dados e tarefas amplamente utilizados na pesquisa de quadrinhos, enfatizando seu papel no avanço do campo; (3) Introduzimos o framework Layer of Comics Understanding (LoCU), uma taxonomia inovadora que redefine tarefas de visão e linguagem dentro dos quadrinhos e lança as bases para trabalhos futuros; (4) Fornecemos uma revisão detalhada e categorização de métodos existentes seguindo o framework LoCU; (5) Por fim, destacamos os desafios atuais de pesquisa e propomos direções para exploração futura, especialmente no contexto de modelos de visão e linguagem aplicados a quadrinhos. Esta pesquisa é a primeira a propor um framework orientado para tarefas para inteligência de quadrinhos e tem como objetivo orientar futuras pesquisas abordando lacunas críticas na disponibilidade de dados e definição de tarefas. Um projeto associado a esta pesquisa está disponível em https://github.com/emanuelevivoli/awesome-comics-understanding.

English

Vision-language models have recently evolved into versatile systems capable of high performance across a range of tasks, such as document understanding, visual question answering, and grounding, often in zero-shot settings. Comics Understanding, a complex and multifaceted field, stands to greatly benefit from these advances. Comics, as a medium, combine rich visual and textual narratives, challenging AI models with tasks that span image classification, object detection, instance segmentation, and deeper narrative comprehension through sequential panels. However, the unique structure of comics -- characterized by creative variations in style, reading order, and non-linear storytelling -- presents a set of challenges distinct from those in other visual-language domains. In this survey, we present a comprehensive review of Comics Understanding from both dataset and task perspectives. Our contributions are fivefold: (1) We analyze the structure of the comics medium, detailing its distinctive compositional elements; (2) We survey the widely used datasets and tasks in comics research, emphasizing their role in advancing the field; (3) We introduce the Layer of Comics Understanding (LoCU) framework, a novel taxonomy that redefines vision-language tasks within comics and lays the foundation for future work; (4) We provide a detailed review and categorization of existing methods following the LoCU framework; (5) Finally, we highlight current research challenges and propose directions for future exploration, particularly in the context of vision-language models applied to comics. This survey is the first to propose a task-oriented framework for comics intelligence and aims to guide future research by addressing critical gaps in data availability and task definition. A project associated with this survey is available at https://github.com/emanuelevivoli/awesome-comics-understanding.