M3-Bench: Benchmark para Agentes MLLM com Utilização de Ferramentas Multimodais, Multi-Hop e Multithread
M3-Bench: Multi-Modal, Multi-Hop, Multi-Threaded Tool-Using MLLM Agent Benchmark
November 21, 2025
Autores: Yang Zhou, Mingyu Zhao, Zhenting Wang, Difei Gu, Bangwei Guo, Ruosong Ye, Ligong Han, Can Jin, Dimitris N. Metaxas
cs.AI
Resumo
Apresentamos o M³-Bench, o primeiro benchmark para avaliação do uso de ferramentas multimodais sob o Model Context Protocol. O benchmark tem como alvo fluxos de trabalho realistas, multi-etapa e multi-threaded que exigem ancoragem visual e raciocínio textual, dependências entre ferramentas e persistência de recursos intermediários ao longo das etapas. Introduzimos um alinhamento baseado em similaridade que serializa cada chamada de ferramenta, incorpora assinaturas com um codificador de frases e realiza um emparelhamento húngaro com agrupamento por similaridade para obter correspondências um-para-um auditáveis. Com base neste alinhamento, relatamos métricas interpretáveis que desacoplam a fidelidade semântica da consistência do fluxo de trabalho. O benchmark abrange 28 servidores com 231 ferramentas e fornece trajetórias padronizadas curadas por meio de um pipeline Executor & Judge com verificação humana; um conjunto auxiliar de quatro juízes baseados em grandes modelos de linguagem (LLMs) reporta a Conclusão da Tarefa e a ancoragem de informação na tarefa final. Avaliações de modelos de linguagem multimodal (MLLMs) representativos do estado da arte revelam lacunas persistentes no uso de ferramentas MCP multimodais, particularmente na fidelidade dos argumentos e na consistência estrutural, destacando a necessidade de métodos que raciocinem conjuntamente sobre imagens, texto e grafos de ferramentas. O repositório anónimo do nosso Benchmark está em https://github.com/EtaYang10th/Open-M3-Bench.
English
We present M^3-Bench, the first benchmark for evaluating multimodal tool use under the Model Context Protocol. The benchmark targets realistic, multi-hop and multi-threaded workflows that require visual grounding and textual reasoning, cross-tool dependencies, and persistence of intermediate resources across steps. We introduce a similarity-driven alignment that serializes each tool call, embeds signatures with a sentence encoder, and performs similarity-bucketed Hungarian matching to obtain auditable one-to-one correspondences. On top of this alignment, we report interpretable metrics that decouple semantic fidelity from workflow consistency. The benchmark spans 28 servers with 231 tools, and provides standardized trajectories curated through an Executor & Judge pipeline with human verification; an auxiliary four large language models (LLMs) judge ensemble reports end-task Task Completion and information grounding. Evaluations of representative state-of-the-art Multimodal LLMs (MLLMs) reveal persistent gaps in multimodal MCP tool use, particularly in argument fidelity and structure consistency, underscoring the need for methods that jointly reason over images, text, and tool graphs. Our Benchmark's anonymous repository is at https://github.com/EtaYang10th/Open-M3-Bench