TIR-Bench: Een Uitgebreide Benchmark voor Agentisch Denken-met-Beelden Redeneren

TIR-Bench: A Comprehensive Benchmark for Agentic Thinking-with-Images Reasoning

November 3, 2025

Auteurs: Ming Li, Jike Zhong, Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Yuxiang Lai, Wei Chen, Konstantinos Psounis, Kaipeng Zhang

cs.AI

Samenvatting

De frontlinie van visueel redeneren verschuift naar modellen zoals OpenAI o3, die op intelligente wijze gereedschappen kunnen creëren en bedienen om afbeeldingen te transformeren voor probleemoplossing, ook wel bekend als denken-met-afbeeldingen in een keten van gedachten. Toch slagen bestaande benchmarks er niet in om dit geavanceerde vermogen volledig te vatten. Zelfs Visueel Zoeken, de meest gangbare benchmark voor huidige denken-met-afbeeldingen-methoden, test slechts basale operaties zoals lokalisatie en bijsnijden, wat weinig inzicht biedt in complexer, dynamischer en gereedschapsafhankelijker redeneren. Wij introduceren TIR-Bench, een uitgebreide benchmark voor het evalueren van agent-achtig denken-met-afbeeldingen over 13 uiteenlopende taken, die elk nieuw gereedschapsgebruik vereisen voor beeldverwerking en -manipulatie in een keten van gedachten. Wij evalueren 22 multimodale grote taalmodellen (MLLM's), van toonaangevende open-source en propriëtaire modellen tot modellen met expliciete gereedschapsgebruiks-uitbreiding. Resultaten tonen aan dat TIR-Bench universeel uitdagend is en dat sterke prestaties echt denken-met-afbeeldingen-vermogen vereisen. Ten slotte presenteren wij een pilotstudie die directe fine-tuning vergelijkt met agent-achtige fine-tuning.

English

The frontier of visual reasoning is shifting toward models like OpenAI o3, which can intelligently create and operate tools to transform images for problem-solving, also known as thinking-with-images in chain-of-thought. Yet existing benchmarks fail to fully capture this advanced capability. Even Visual Search, the most common benchmark for current thinking-with-images methods, tests only basic operations such as localization and cropping, offering little insight into more complex, dynamic, and tool-dependent reasoning. We introduce TIR-Bench, a comprehensive benchmark for evaluating agentic thinking-with-images across 13 diverse tasks, each requiring novel tool use for image processing and manipulation in chain-of-thought. We evaluate 22 multimodal large language models (MLLMs), from leading open-sourced and proprietary models to those with explicit tool-use augmentation. Results show that TIR-Bench is universally challenging, and strong performance requires genuine thinking-with-images capabilities. Finally, we present a pilot study comparing direct versus agentic fine-tuning.