Мультимодальная игла в стоге сена: оценка возможностей длинного контекста мультимодальных крупномасштабных языковых моделей.

Multimodal Needle in a Haystack: Benchmarking Long-Context Capability of Multimodal Large Language Models

June 17, 2024

Авторы: Hengyi Wang, Haizhou Shi, Shiwei Tan, Weiyi Qin, Wenyuan Wang, Tunyu Zhang, Akshay Nambi, Tanuja Ganu, Hao Wang

cs.AI

Аннотация

Многомодельные модели на больших языковых корпусах (MLLM) показали значительный потенциал в различных приложениях, вызвав широкий интерес как у исследователей, так и у практиков. Однако полная оценка их возможностей в работе с длинными контекстами остается недостаточно изученной. Для заполнения этих пробелов мы представляем бенчмарк MultiModal Needle-in-a-haystack (MMNeedle), специально разработанный для оценки возможностей многомодельных моделей в работе с длинными контекстами. Помимо ввода с несколькими изображениями, мы используем стежку изображений для увеличения длины контекста ввода и разрабатываем протокол для автоматической генерации меток для поиска подизображений. В основе MMNeedle лежит оценка MLLM путем тестирования их способности находить целевое подизображение (иголку) среди набора изображений (стог сена) на основе текстовых инструкций и описаний содержания изображений. Эта настройка требует продвинутого понимания обширных визуальных контекстов и эффективного поиска информации в длинных контекстах ввода изображений. С помощью этого бенчмарка мы оцениваем современные MLLM, включая как API-ориентированные, так и открытые модели. Результаты показывают, что GPT-4o последовательно превосходит другие модели в сценариях с длинным контекстом, но сталкивается с проблемами галлюцинаций в негативных примерах, то есть, когда иголки отсутствуют в стогах сена. Наша всесторонняя оценка длинных контекстов MLLM также проливает свет на значительный разрыв в производительности между API-ориентированными и открытыми моделями. Весь код, данные и инструкции, необходимые для воспроизведения основных результатов, доступны на https://github.com/Wang-ML-Lab/multimodal-needle-in-a-haystack.

English

Multimodal Large Language Models (MLLMs) have shown significant promise in various applications, leading to broad interest from researchers and practitioners alike. However, a comprehensive evaluation of their long-context capabilities remains underexplored. To address these gaps, we introduce the MultiModal Needle-in-a-haystack (MMNeedle) benchmark, specifically designed to assess the long-context capabilities of MLLMs. Besides multi-image input, we employ image stitching to further increase the input context length, and develop a protocol to automatically generate labels for sub-image level retrieval. Essentially, MMNeedle evaluates MLLMs by stress-testing their capability to locate a target sub-image (needle) within a set of images (haystack) based on textual instructions and descriptions of image contents. This setup necessitates an advanced understanding of extensive visual contexts and effective information retrieval within long-context image inputs. With this benchmark, we evaluate state-of-the-art MLLMs, encompassing both API-based and open-source models. The findings reveal that GPT-4o consistently surpasses other models in long-context scenarios, but suffers from hallucination problems in negative samples, i.e., when needles are not in the haystacks. Our comprehensive long-context evaluation of MLLMs also sheds lights on the considerable performance gap between API-based and open-source models. All the code, data, and instructions required to reproduce the main results are available at https://github.com/Wang-ML-Lab/multimodal-needle-in-a-haystack.