M3-Bench: Multi-modale, Multi-hop, Multi-threaded Tool-gebruikende MLLM Agent Benchmark

M3-Bench: Multi-Modal, Multi-Hop, Multi-Threaded Tool-Using MLLM Agent Benchmark

November 21, 2025

Auteurs: Yang Zhou, Mingyu Zhao, Zhenting Wang, Difei Gu, Bangwei Guo, Ruosong Ye, Ligong Han, Can Jin, Dimitris N. Metaxas

cs.AI

Samenvatting

Wij presenteren M^3-Bench, de eerste benchmark voor het evalueren van multimodaal gereedschapsgebruik onder het Model Context Protocol. De benchmark richt zich op realistische, multi-hop en multi-threaded workflows die visuele verankering en tekstueel redeneren, afhankelijkheden tussen gereedschappen en persistentie van intermediaire bronnen tussen stappen vereisen. Wij introduceren een op gelijkenis gebaseerde alignering die elke gereedschapsaanroep serialiseert, signaturen inbedt met een zin-encoder en *similarity-bucketed* Hongaarse matching uitvoert om controleerbare één-op-één correspondenties te verkrijgen. Bovenop deze alignering rapporteren wij interpreteerbare metrieken die semantische trouw ontkoppelen van workflowconsistentie. De benchmark omvat 28 servers met 231 gereedschappen en biedt gestandaardiseerde trajecten, samengesteld via een Executor & Judge-pijplijn met menselijke verificatie; een ensemble van vier grote taalmodel(len) als hulprechters rapporteert Taakvoltooiing en informatieverankering voor de eindtaak. Evaluaties van representatieve state-of-the-art Multimodale Taalmodellen (MMT's) onthullen aanhoudende tekortkomingen in multimodaal MCP-gereedschapsgebruik, met name in argumenttrouw en structuurconsistentie, wat de noodzaak onderstreept van methoden die gezamenlijk redeneren over afbeeldingen, tekst en gereedschapsgrafen. De anonieme repository van onze benchmark bevindt zich op https://github.com/EtaYang10th/Open-M3-Bench.

English

We present M^3-Bench, the first benchmark for evaluating multimodal tool use under the Model Context Protocol. The benchmark targets realistic, multi-hop and multi-threaded workflows that require visual grounding and textual reasoning, cross-tool dependencies, and persistence of intermediate resources across steps. We introduce a similarity-driven alignment that serializes each tool call, embeds signatures with a sentence encoder, and performs similarity-bucketed Hungarian matching to obtain auditable one-to-one correspondences. On top of this alignment, we report interpretable metrics that decouple semantic fidelity from workflow consistency. The benchmark spans 28 servers with 231 tools, and provides standardized trajectories curated through an Executor & Judge pipeline with human verification; an auxiliary four large language models (LLMs) judge ensemble reports end-task Task Completion and information grounding. Evaluations of representative state-of-the-art Multimodal LLMs (MLLMs) reveal persistent gaps in multimodal MCP tool use, particularly in argument fidelity and structure consistency, underscoring the need for methods that jointly reason over images, text, and tool graphs. Our Benchmark's anonymous repository is at https://github.com/EtaYang10th/Open-M3-Bench