MMDU: Een Benchmark voor Multi-Turn Multi-Image Dialoogbegrip en een Instructie-Afstemmingsdataset voor LVLM's

MMDU: A Multi-Turn Multi-Image Dialog Understanding Benchmark and Instruction-Tuning Dataset for LVLMs

June 17, 2024

Auteurs: Ziyu Liu, Tao Chu, Yuhang Zang, Xilin Wei, Xiaoyi Dong, Pan Zhang, Zijian Liang, Yuanjun Xiong, Yu Qiao, Dahua Lin, Jiaqi Wang

cs.AI

Samenvatting

Het genereren van natuurlijke en betekenisvolle reacties om te communiceren met multimodale menselijke input is een fundamentele capaciteit van Large Vision-Language Models (LVLMs). Hoewel huidige open-source LVLMs veelbelovende prestaties laten zien in vereenvoudigde scenario's zoals enkelvoudige invoer met één afbeelding, schieten ze tekort in realistische gespreksscenario's zoals het volgen van instructies in een lange contextgeschiedenis met meerdere beurten en meerdere afbeeldingen. Bestaande LVLM-benchmarks richten zich voornamelijk op meerkeuzevragen of korte antwoorden, wat niet voldoende de capaciteiten van LVLMs in realistische mens-AI-interactietoepassingen beoordeelt. Daarom introduceren we MMDU, een uitgebreide benchmark, en MMDU-45k, een grootschalig instructieafstemmingsdataset, ontworpen om de vaardigheden van LVLMs in gesprekken met meerdere beurten en meerdere afbeeldingen te evalueren en te verbeteren. We gebruiken het clusteringalgoritme om relevante afbeeldingen en tekstuele beschrijvingen uit de open-source Wikipedia te vinden en construeren vraag-antwoordparen door menselijke annotators met behulp van het GPT-4o-model. MMDU heeft een maximum van 18k afbeelding+tekst tokens, 20 afbeeldingen en 27 beurten, wat minstens 5x langer is dan eerdere benchmarks en uitdagingen biedt aan huidige LVLMs. Onze diepgaande analyse van 15 representatieve LVLMs met behulp van MMDU onthult dat open-source LVLMs achterblijven bij closed-source tegenhangers vanwege beperkte conversatie-instructieafstemmingsdata. We tonen aan dat het finetunen van open-source LVLMs op MMDU-45k deze kloof aanzienlijk verkleint, langere en nauwkeurigere gesprekken genereert, en scores op MMDU en bestaande benchmarks verbetert (MMStar: +1.1%, MathVista: +1.5%, ChartQA: +1.2%). Onze bijdragen banen de weg voor het overbruggen van de kloof tussen huidige LVLM-modellen en de eisen van realistische toepassingen. Dit project is beschikbaar op https://github.com/Liuziyu77/MMDU.

English

Generating natural and meaningful responses to communicate with multi-modal human inputs is a fundamental capability of Large Vision-Language Models(LVLMs). While current open-source LVLMs demonstrate promising performance in simplified scenarios such as single-turn single-image input, they fall short in real-world conversation scenarios such as following instructions in a long context history with multi-turn and multi-images. Existing LVLM benchmarks primarily focus on single-choice questions or short-form responses, which do not adequately assess the capabilities of LVLMs in real-world human-AI interaction applications. Therefore, we introduce MMDU, a comprehensive benchmark, and MMDU-45k, a large-scale instruction tuning dataset, designed to evaluate and improve LVLMs' abilities in multi-turn and multi-image conversations. We employ the clustering algorithm to ffnd the relevant images and textual descriptions from the open-source Wikipedia and construct the question-answer pairs by human annotators with the assistance of the GPT-4o model. MMDU has a maximum of 18k image+text tokens, 20 images, and 27 turns, which is at least 5x longer than previous benchmarks and poses challenges to current LVLMs. Our in-depth analysis of 15 representative LVLMs using MMDU reveals that open-source LVLMs lag behind closed-source counterparts due to limited conversational instruction tuning data. We demonstrate that ffne-tuning open-source LVLMs on MMDU-45k signiffcantly address this gap, generating longer and more accurate conversations, and improving scores on MMDU and existing benchmarks (MMStar: +1.1%, MathVista: +1.5%, ChartQA:+1.2%). Our contributions pave the way for bridging the gap between current LVLM models and real-world application demands. This project is available at https://github.com/Liuziyu77/MMDU.