M-Longdoc: Um Benchmark Para Compreensão de Documentos Super Longos Multimodais E Um Framework de Ajuste Consciente da Recuperação

M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework

November 9, 2024

Autores: Yew Ken Chia, Liying Cheng, Hou Pong Chan, Chaoqun Liu, Maojia Song, Sharifah Mahani Aljunied, Soujanya Poria, Lidong Bing

cs.AI

Resumo

A capacidade de compreender e responder a perguntas sobre documentos pode ser útil em muitas aplicações comerciais e práticas. No entanto, os documentos frequentemente contêm conteúdos multimodais extensos e diversos, como textos, figuras e tabelas, que são muito demorados para os humanos lerem minuciosamente. Portanto, há uma necessidade urgente de desenvolver métodos eficazes e automatizados para auxiliar os humanos nessa tarefa. Neste trabalho, apresentamos o M-LongDoc, um benchmark de 851 amostras, e um framework automatizado para avaliar o desempenho de modelos multimodais grandes. Além disso, propomos uma abordagem de ajuste consciente da recuperação para leitura eficiente e eficaz de documentos multimodais. Em comparação com trabalhos existentes, nosso benchmark é composto por documentos mais recentes e extensos, com centenas de páginas, exigindo soluções abertas e não apenas respostas extrativas. Até onde sabemos, nosso framework de treinamento é o primeiro a abordar diretamente o cenário de recuperação para documentos multimodais longos. Para permitir o ajuste de modelos de código aberto, construímos um corpus de treinamento de forma totalmente automática para a tarefa de questionamento e resposta sobre tais documentos. Experimentos mostram que nossa abordagem de ajuste alcança uma melhoria relativa de 4,6% na correção das respostas do modelo, em comparação com os modelos de código aberto de referência. Nossos dados, código e modelos estão disponíveis em https://multimodal-documents.github.io.

English

The ability to understand and answer questions over documents can be useful in many business and practical applications. However, documents often contain lengthy and diverse multimodal contents such as texts, figures, and tables, which are very time-consuming for humans to read thoroughly. Hence, there is an urgent need to develop effective and automated methods to aid humans in this task. In this work, we introduce M-LongDoc, a benchmark of 851 samples, and an automated framework to evaluate the performance of large multimodal models. We further propose a retrieval-aware tuning approach for efficient and effective multimodal document reading. Compared to existing works, our benchmark consists of more recent and lengthy documents with hundreds of pages, while also requiring open-ended solutions and not just extractive answers. To our knowledge, our training framework is the first to directly address the retrieval setting for multimodal long documents. To enable tuning open-source models, we construct a training corpus in a fully automatic manner for the question-answering task over such documents. Experiments show that our tuning approach achieves a relative improvement of 4.6% for the correctness of model responses, compared to the baseline open-source models. Our data, code, and models are available at https://multimodal-documents.github.io.