LoRA - Adaptação Contextualizada de Modelos Multimodais Grandes para Compreensão de Documentos Longos

LoRA-Contextualizing Adaptation of Large Multimodal Models for Long Document Understanding

November 2, 2024

Autores: Jian Chen, Ruiyi Zhang, Yufan Zhou, Tong Yu, Franck Dernoncourt, Jiuxiang Gu, Ryan A. Rossi, Changyou Chen, Tong Sun

cs.AI

Resumo

Grandes modelos multimodais (LMMs) mostraram recentemente grande progresso na compreensão de imagens ricas em texto, no entanto, ainda enfrentam dificuldades com documentos complexos, multi-página e visualmente ricos. Métodos tradicionais que utilizam analisadores de documentos para geração aumentada por recuperação sofrem com limitações de desempenho e eficiência, enquanto apresentar todas as páginas diretamente aos LMMs leva a ineficiências, especialmente com documentos extensos. Neste trabalho, apresentamos um novo framework chamado LoRA-Adaptação Contextualizada de Grandes Modelos Multimodais (LoCAL), que amplia as capacidades de qualquer LMM para suportar a compreensão de documentos longos. Demonstramos que os LMMs podem servir efetivamente como recuperadores multimodais, buscando páginas relevantes para responder perguntas do usuário com base nessas páginas. O LoCAL é implementado com dois adaptadores LMM específicos: um para recuperação de páginas de evidência e outro para resposta a perguntas. Resultados empíricos mostram desempenho de ponta em benchmarks públicos, demonstrando a eficácia do LoCAL.

English

Large multimodal models (LMMs) have recently shown great progress in text-rich image understanding, yet they still struggle with complex, multi-page, visually-rich documents. Traditional methods using document parsers for retrieval-augmented generation suffer from performance and efficiency limitations, while directly presenting all pages to LMMs leads to inefficiencies, especially with lengthy documents. In this work, we present a novel framework named LoRA-Contextualizing Adaptation of Large multimodal models (LoCAL), which broadens the capabilities of any LMM to support long-document understanding. We demonstrate that LMMs can effectively serve as multimodal retrievers, fetching relevant pages to answer user questions based on these pages. LoCAL is implemented with two specific LMM adapters: one for evidence page retrieval and another for question answering. Empirical results show state-of-the-art performance on public benchmarks, demonstrating the effectiveness of LoCAL.