TIR-Bench: Ein umfassender Benchmark für agentenbasiertes Denken-mit-Bildern-Urteilen

TIR-Bench: A Comprehensive Benchmark for Agentic Thinking-with-Images Reasoning

November 3, 2025

papers.authors: Ming Li, Jike Zhong, Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Yuxiang Lai, Wei Chen, Konstantinos Psounis, Kaipeng Zhang

cs.AI

papers.abstract

Die Grenze des visuellen Denkens verschiebt sich hin zu Modellen wie OpenAI o3, die intelligent Werkzeuge erstellen und bedienen können, um Bilder zur Problemlösung zu transformieren – ein Prozess, der auch als Denken-mit-Bildern in Gedankenketten bekannt ist. Bisherige Benchmarks erfassen diese fortgeschrittene Fähigkeit jedoch nicht vollständig. Selbst Visual Search, der gebräuchlichste Benchmark für aktuelle Denken-mit-Bildern-Methoden, testet nur grundlegende Operationen wie Lokalisierung und Zuschneidung und liefert kaum Einblicke in komplexeres, dynamischeres und werkzeugabhängigeres Schlussfolgern. Wir stellen TIR-Bench vor, einen umfassenden Benchmark zur Bewertung von agentenbasiertem Denken-mit-Bildern über 13 verschiedene Aufgaben hinweg, die jeweils neuartigen Werkzeugeinsatz zur Bildverarbeitung und -manipulation in Gedankenketten erfordern. Wir evaluieren 22 multimodale Large Language Models (MLLMs), von führenden Open-Source- und proprietären Modellen bis hin zu solchen mit expliziter Werkzeugnutzungs-Erweiterung. Die Ergebnisse zeigen, dass TIR-Bench durchgängig anspruchsvoll ist und hohe Leistung echte Denken-mit-Bildern-Fähigkeiten erfordert. Abschließend präsentieren wir eine Pilotstudie, die direktes mit agentenbasiertem Fine-Tuning vergleicht.

English

The frontier of visual reasoning is shifting toward models like OpenAI o3, which can intelligently create and operate tools to transform images for problem-solving, also known as thinking-with-images in chain-of-thought. Yet existing benchmarks fail to fully capture this advanced capability. Even Visual Search, the most common benchmark for current thinking-with-images methods, tests only basic operations such as localization and cropping, offering little insight into more complex, dynamic, and tool-dependent reasoning. We introduce TIR-Bench, a comprehensive benchmark for evaluating agentic thinking-with-images across 13 diverse tasks, each requiring novel tool use for image processing and manipulation in chain-of-thought. We evaluate 22 multimodal large language models (MLLMs), from leading open-sourced and proprietary models to those with explicit tool-use augmentation. Results show that TIR-Bench is universally challenging, and strong performance requires genuine thinking-with-images capabilities. Finally, we present a pilot study comparing direct versus agentic fine-tuning.