M3-Bench: Бенчмарк для многомодальных MLLM-агентов с использованием инструментов, поддерживающий многошаговые и многопоточные сценарии

M3-Bench: Multi-Modal, Multi-Hop, Multi-Threaded Tool-Using MLLM Agent Benchmark

November 21, 2025

Авторы: Yang Zhou, Mingyu Zhao, Zhenting Wang, Difei Gu, Bangwei Guo, Ruosong Ye, Ligong Han, Can Jin, Dimitris N. Metaxas

cs.AI

Аннотация

Мы представляем M³-Bench — первый эталонный комплекс для оценки мультимодального использования инструментов в рамках протокола Model Context Protocol. Комплекс ориентирован на реалистичные многошаговые и многопоточные рабочие процессы, требующие визуального обоснования и текстовых рассуждений, кросс-инструментальных зависимостей и сохранения промежуточных ресурсов между шагами. Мы предлагаем подход выравнивания на основе схожести, который сериализует каждый вызов инструмента, векторизует сигнатуры с помощью sentence-энкодера и выполняет венгерское сопоставление с группировкой по схожести для получения проверяемых взаимно-однозначных соответствий. На основе этого выравнивания мы рассчитываем интерпретируемые метрики, разделяющие семантическую точность и согласованность workflow. Комплекс охватывает 28 серверов с 231 инструментом и предоставляет стандартизированные траектории, отобранные с помощью конвейера Executor & Judge с человеческой проверкой; вспомогательный ансамбль из четырех больших языковых моделей (LLM) оценивает завершение задачи и обоснованность информации. Оценки репрезентативных современных мультимодальных LLM (MLLM) выявляют устойчивые пробелы в мультимодальном использовании инструментов MCP, особенно в точности аргументов и структурной согласованности, подчеркивая необходимость методов, совместно рассуждающих над изображениями, текстом и графами инструментов. Анонимный репозиторий нашего комплекса доступен по адресу https://github.com/EtaYang10th/Open-M3-Bench.

English

We present M^3-Bench, the first benchmark for evaluating multimodal tool use under the Model Context Protocol. The benchmark targets realistic, multi-hop and multi-threaded workflows that require visual grounding and textual reasoning, cross-tool dependencies, and persistence of intermediate resources across steps. We introduce a similarity-driven alignment that serializes each tool call, embeds signatures with a sentence encoder, and performs similarity-bucketed Hungarian matching to obtain auditable one-to-one correspondences. On top of this alignment, we report interpretable metrics that decouple semantic fidelity from workflow consistency. The benchmark spans 28 servers with 231 tools, and provides standardized trajectories curated through an Executor & Judge pipeline with human verification; an auxiliary four large language models (LLMs) judge ensemble reports end-task Task Completion and information grounding. Evaluations of representative state-of-the-art Multimodal LLMs (MLLMs) reveal persistent gaps in multimodal MCP tool use, particularly in argument fidelity and structure consistency, underscoring the need for methods that jointly reason over images, text, and tool graphs. Our Benchmark's anonymous repository is at https://github.com/EtaYang10th/Open-M3-Bench