Aiguille dans une botte de foin multimodale

Needle In A Multimodal Haystack

June 11, 2024

Auteurs: Weiyun Wang, Shuibo Zhang, Yiming Ren, Yuchen Duan, Tiantong Li, Shuo Liu, Mengkang Hu, Zhe Chen, Kaipeng Zhang, Lewei Lu, Xizhou Zhu, Ping Luo, Yu Qiao, Jifeng Dai, Wenqi Shao, Wenhai Wang

cs.AI

Résumé

Avec les progrès rapides des modèles de langage multimodaux de grande envergure (MLLMs), leur évaluation est devenue de plus en plus exhaustive. Cependant, la compréhension de contenus multimodaux longs, en tant que capacité fondamentale pour les applications réelles, reste peu explorée. Dans ce travail, nous présentons Needle In A Multimodal Haystack (MM-NIAH), le premier benchmark spécifiquement conçu pour évaluer systématiquement la capacité des MLLMs existants à comprendre des documents multimodaux longs. Notre benchmark comprend trois types de tâches d'évaluation : la recherche multimodale, le décompte et le raisonnement. Dans chaque tâche, le modèle doit répondre aux questions en fonction de différentes informations clés dispersées dans le document multimodal donné. En évaluant les MLLMs leaders sur MM-NIAH, nous observons que les modèles existants ont encore une marge d'amélioration significative sur ces tâches, en particulier sur l'évaluation centrée sur la vision. Nous espérons que ce travail pourra fournir une plateforme pour des recherches futures sur la compréhension de documents multimodaux longs et contribuer à l'avancement des MLLMs. Le code et le benchmark sont disponibles à l'adresse https://github.com/OpenGVLab/MM-NIAH.

English

With the rapid advancement of multimodal large language models (MLLMs), their evaluation has become increasingly comprehensive. However, understanding long multimodal content, as a foundational ability for real-world applications, remains underexplored. In this work, we present Needle In A Multimodal Haystack (MM-NIAH), the first benchmark specifically designed to systematically evaluate the capability of existing MLLMs to comprehend long multimodal documents. Our benchmark includes three types of evaluation tasks: multimodal retrieval, counting, and reasoning. In each task, the model is required to answer the questions according to different key information scattered throughout the given multimodal document. Evaluating the leading MLLMs on MM-NIAH, we observe that existing models still have significant room for improvement on these tasks, especially on vision-centric evaluation. We hope this work can provide a platform for further research on long multimodal document comprehension and contribute to the advancement of MLLMs. Code and benchmark are released at https://github.com/OpenGVLab/MM-NIAH.