TIR-Bench : Un Référentiel Complet pour le Raisonnement Agentique avec Pensée Visuelle

TIR-Bench: A Comprehensive Benchmark for Agentic Thinking-with-Images Reasoning

November 3, 2025

papers.authors: Ming Li, Jike Zhong, Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Yuxiang Lai, Wei Chen, Konstantinos Psounis, Kaipeng Zhang

cs.AI

papers.abstract

La frontière du raisonnement visuel évolue vers des modèles comme OpenAI o3, capables de créer et d'utiliser intelligemment des outils pour transformer des images afin de résoudre des problèmes, une approche également appelée « raisonnement avec les images » dans le cadre d'un enchaînement de pensées (chain-of-thought). Pourtant, les benchmarks existants ne parviennent pas à capturer pleinement cette capacité avancée. Même Visual Search, le benchmark le plus courant pour les méthodes actuelles de raisonnement avec les images, ne teste que des opérations de base telles que la localisation et le recadrage, offrant peu d'informations sur un raisonnement plus complexe, dynamique et dépendant d'outils. Nous présentons TIR-Bench, un benchmark complet pour évaluer le raisonnement agentique avec les images à travers 13 tâches variées, chacune nécessitant une utilisation novatrice d'outils pour le traitement et la manipulation d'images dans un enchaînement de pensées. Nous évaluons 22 grands modèles de langage multimodaux (MLLM), allant des principaux modèles open source et propriétaires à ceux dotés d'une augmentation explicite de l'utilisation d'outils. Les résultats montrent que TIR-Bench est universellement exigeant et qu'une performance solide nécessite de véritables capacités de raisonnement avec les images. Enfin, nous présentons une étude pilote comparant le fine-tuning direct et le fine-tuning agentique.

English

The frontier of visual reasoning is shifting toward models like OpenAI o3, which can intelligently create and operate tools to transform images for problem-solving, also known as thinking-with-images in chain-of-thought. Yet existing benchmarks fail to fully capture this advanced capability. Even Visual Search, the most common benchmark for current thinking-with-images methods, tests only basic operations such as localization and cropping, offering little insight into more complex, dynamic, and tool-dependent reasoning. We introduce TIR-Bench, a comprehensive benchmark for evaluating agentic thinking-with-images across 13 diverse tasks, each requiring novel tool use for image processing and manipulation in chain-of-thought. We evaluate 22 multimodal large language models (MLLMs), from leading open-sourced and proprietary models to those with explicit tool-use augmentation. Results show that TIR-Bench is universally challenging, and strong performance requires genuine thinking-with-images capabilities. Finally, we present a pilot study comparing direct versus agentic fine-tuning.