M3-Bench: Multi-Modaler, Multi-Hop, Multi-Threaded Benchmark für werkzeugnutzende MLLM-Agenten

papers.abstract

Wir stellen M^3-Bench vor, den ersten Benchmark zur Bewertung der multimodalen Werkzeugnutzung unter dem Model Context Protocol. Der Benchmark zielt auf realistische, mehrstufige und multithreaded Workflows ab, die visuelle Verankerung und textuelles Reasoning, werkzeugübergreifende Abhängigkeiten sowie die Persistenz von Zwischenressourcen über mehrere Schritte hinweg erfordern. Wir führen eine ähnlichkeitsgesteuerte Alignment-Methode ein, die jeden Werkzeugaufruf serialisiert, Signaturen mit einem Sentence-Encoder einbettet und eine ähnlichkeitsgebündelte Hungarian-Matching durchführt, um überprüfbare Eins-zu-eins-Entsprechungen zu erhalten. Aufbauend auf diesem Alignment berichten wir interpretierbare Metriken, die semantische Treue von Workflow-Konsistenz entkoppeln. Der Benchmark umfasst 28 Server mit 231 Werkzeugen und bietet standardisierte Trajektorien, die durch eine Executor- & Judge-Pipeline mit menschlicher Verifikation kuratiert werden; ein Ensemble aus vier großen Sprachmodellen (LLMs) als zusätzliche Judge-Komponente bewertet die Aufgabenerfüllung (Task Completion) und Informationsverankerung. Evaluationen repräsentativer state-of-the-art multimodaler LLMs (MLLMs) zeigen anhaltende Defizite in der multimodalen MCP-Werkzeugnutzung, insbesondere bei der Argumenttreue und Strukturkonsistenz, was den Bedarf an Methoden unterstreicht, die gemeinsam über Bilder, Text und Werkzeuggraphen reasoning betreiben. Das anonymisierte Repository unseres Benchmarks befindet sich unter https://github.com/EtaYang10th/Open-M3-Bench.

English

We present M^3-Bench, the first benchmark for evaluating multimodal tool use under the Model Context Protocol. The benchmark targets realistic, multi-hop and multi-threaded workflows that require visual grounding and textual reasoning, cross-tool dependencies, and persistence of intermediate resources across steps. We introduce a similarity-driven alignment that serializes each tool call, embeds signatures with a sentence encoder, and performs similarity-bucketed Hungarian matching to obtain auditable one-to-one correspondences. On top of this alignment, we report interpretable metrics that decouple semantic fidelity from workflow consistency. The benchmark spans 28 servers with 231 tools, and provides standardized trajectories curated through an Executor & Judge pipeline with human verification; an auxiliary four large language models (LLMs) judge ensemble reports end-task Task Completion and information grounding. Evaluations of representative state-of-the-art Multimodal LLMs (MLLMs) reveal persistent gaps in multimodal MCP tool use, particularly in argument fidelity and structure consistency, underscoring the need for methods that jointly reason over images, text, and tool graphs. Our Benchmark's anonymous repository is at https://github.com/EtaYang10th/Open-M3-Bench

M3-Bench: Multi-Modaler, Multi-Hop, Multi-Threaded Benchmark für werkzeugnutzende MLLM-Agenten

M3-Bench: Multi-Modal, Multi-Hop, Multi-Threaded Tool-Using MLLM Agent Benchmark

papers.abstract

Support