M-Longdoc: набор данных для оценки мультимодального понимания сверхдлинных документов и фреймворк настройки с учетом извлечения.

M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework

November 9, 2024

Авторы: Yew Ken Chia, Liying Cheng, Hou Pong Chan, Chaoqun Liu, Maojia Song, Sharifah Mahani Aljunied, Soujanya Poria, Lidong Bing

cs.AI

Аннотация

Способность понимать и отвечать на вопросы по документам может быть полезной во многих бизнес- и практических приложениях. Однако документы часто содержат обширное и разнообразное мультимодальное содержимое, такое как тексты, рисунки и таблицы, что требует много времени для полного прочтения людьми. Поэтому существует настоятельная необходимость разработки эффективных и автоматизированных методов для помощи людям в этой задаче. В данной работе мы представляем M-LongDoc, набор данных из 851 образца, и автоматизированную структуру для оценки производительности крупных мультимодальных моделей. Мы также предлагаем метод настройки, основанный на поиске, для эффективного и эффективного чтения мультимодальных документов. По сравнению с существующими работами, наш набор данных состоит из более новых и обширных документов с сотнями страниц, требующих не только извлекаемых ответов, но и открытых решений. На наш взгляд, наша обучающая структура является первой, которая непосредственно обращается к настройке поиска для мультимодальных длинных документов. Для настройки моделей с открытым исходным кодом мы создаем корпус обучающих данных полностью автоматическим образом для задачи вопросно-ответной системы по таким документам. Эксперименты показывают, что наш метод настройки достигает относительного улучшения на 4,6% для правильности ответов модели по сравнению с базовыми моделями с открытым исходным кодом. Наши данные, код и модели доступны на https://multimodal-documents.github.io.

English

The ability to understand and answer questions over documents can be useful in many business and practical applications. However, documents often contain lengthy and diverse multimodal contents such as texts, figures, and tables, which are very time-consuming for humans to read thoroughly. Hence, there is an urgent need to develop effective and automated methods to aid humans in this task. In this work, we introduce M-LongDoc, a benchmark of 851 samples, and an automated framework to evaluate the performance of large multimodal models. We further propose a retrieval-aware tuning approach for efficient and effective multimodal document reading. Compared to existing works, our benchmark consists of more recent and lengthy documents with hundreds of pages, while also requiring open-ended solutions and not just extractive answers. To our knowledge, our training framework is the first to directly address the retrieval setting for multimodal long documents. To enable tuning open-source models, we construct a training corpus in a fully automatic manner for the question-answering task over such documents. Experiments show that our tuning approach achieves a relative improvement of 4.6% for the correctness of model responses, compared to the baseline open-source models. Our data, code, and models are available at https://multimodal-documents.github.io.