M-Longdoc: Un Referente Para la Comprensión de Documentos Superlargos Multimodales y un Marco de Ajuste Consciente de la Recuperación

M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework

November 9, 2024

Autores: Yew Ken Chia, Liying Cheng, Hou Pong Chan, Chaoqun Liu, Maojia Song, Sharifah Mahani Aljunied, Soujanya Poria, Lidong Bing

cs.AI

Resumen

La capacidad de comprender y responder preguntas sobre documentos puede ser útil en muchas aplicaciones comerciales y prácticas. Sin embargo, los documentos a menudo contienen contenidos multimodales extensos y diversos, como textos, figuras y tablas, que son muy consumidores de tiempo para que los humanos los lean a fondo. Por lo tanto, existe una necesidad urgente de desarrollar métodos efectivos y automatizados para ayudar a los humanos en esta tarea. En este trabajo, presentamos M-LongDoc, un banco de pruebas de 851 muestras, y un marco automatizado para evaluar el rendimiento de modelos multimodales grandes. Además, proponemos un enfoque de ajuste consciente de la recuperación para una lectura eficiente y efectiva de documentos multimodales. En comparación con los trabajos existentes, nuestro banco de pruebas consta de documentos más recientes y extensos con cientos de páginas, y también requiere soluciones abiertas y no solo respuestas extractivas. Hasta donde sabemos, nuestro marco de entrenamiento es el primero en abordar directamente el entorno de recuperación para documentos multimodales extensos. Para habilitar el ajuste de modelos de código abierto, construimos un corpus de entrenamiento de manera totalmente automática para la tarea de pregunta-respuesta sobre dichos documentos. Los experimentos muestran que nuestro enfoque de ajuste logra una mejora relativa del 4.6% en la corrección de las respuestas del modelo, en comparación con los modelos de código abierto de referencia. Nuestros datos, código y modelos están disponibles en https://multimodal-documents.github.io.

English

The ability to understand and answer questions over documents can be useful in many business and practical applications. However, documents often contain lengthy and diverse multimodal contents such as texts, figures, and tables, which are very time-consuming for humans to read thoroughly. Hence, there is an urgent need to develop effective and automated methods to aid humans in this task. In this work, we introduce M-LongDoc, a benchmark of 851 samples, and an automated framework to evaluate the performance of large multimodal models. We further propose a retrieval-aware tuning approach for efficient and effective multimodal document reading. Compared to existing works, our benchmark consists of more recent and lengthy documents with hundreds of pages, while also requiring open-ended solutions and not just extractive answers. To our knowledge, our training framework is the first to directly address the retrieval setting for multimodal long documents. To enable tuning open-source models, we construct a training corpus in a fully automatic manner for the question-answering task over such documents. Experiments show that our tuning approach achieves a relative improvement of 4.6% for the correctness of model responses, compared to the baseline open-source models. Our data, code, and models are available at https://multimodal-documents.github.io.