LoRA-Контекстуализация адаптации крупных мультимодальных моделей для понимания длинных документов

LoRA-Contextualizing Adaptation of Large Multimodal Models for Long Document Understanding

November 2, 2024

Авторы: Jian Chen, Ruiyi Zhang, Yufan Zhou, Tong Yu, Franck Dernoncourt, Jiuxiang Gu, Ryan A. Rossi, Changyou Chen, Tong Sun

cs.AI

Аннотация

Большие мультимодальные модели (LMM) недавно продемонстрировали значительный прогресс в понимании изображений с текстовым содержанием, однако они все еще испытывают трудности с комплексными, многостраничными документами, богатыми визуальным контентом. Традиционные методы, использующие парсеры документов для генерации с увеличением поиска, сталкиваются с ограничениями производительности и эффективности, в то время как прямая подача всех страниц на вход LMM приводит к неэффективности, особенно при работе с длинными документами. В данной работе мы представляем новую структуру под названием LoRA-Контекстуализация Адаптации Больших мультимодальных моделей (LoCAL), которая расширяет возможности любой LMM для поддержки понимания длинных документов. Мы показываем, что LMM могут эффективно выступать в качестве мультимодальных поисковиков, извлекая соответствующие страницы для ответа на вопросы пользователей на основе этих страниц. LoCAL реализован с помощью двух конкретных адаптеров LMM: один для извлечения страниц с доказательствами и другой для ответов на вопросы. Эмпирические результаты демонстрируют передовую производительность на общедоступных бенчмарках, подтверждая эффективность LoCAL.

English

Large multimodal models (LMMs) have recently shown great progress in text-rich image understanding, yet they still struggle with complex, multi-page, visually-rich documents. Traditional methods using document parsers for retrieval-augmented generation suffer from performance and efficiency limitations, while directly presenting all pages to LMMs leads to inefficiencies, especially with lengthy documents. In this work, we present a novel framework named LoRA-Contextualizing Adaptation of Large multimodal models (LoCAL), which broadens the capabilities of any LMM to support long-document understanding. We demonstrate that LMMs can effectively serve as multimodal retrievers, fetching relevant pages to answer user questions based on these pages. LoCAL is implemented with two specific LMM adapters: one for evidence page retrieval and another for question answering. Empirical results show state-of-the-art performance on public benchmarks, demonstrating the effectiveness of LoCAL.