Traceerbaar Bewijs Verbeterde Visueel Gegronde Redenering: Evaluatie en Methodologie

Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology

July 10, 2025

Auteurs: Haochen Wang, Xiangtai Li, Zilong Huang, Anran Wang, Jiacong Wang, Tao Zhang, Jiani Zheng, Sule Bai, Zijian Kang, Jiashi Feng, Zhuochen Wang, Zhaoxiang Zhang

cs.AI

Samenvatting

Modellen zoals OpenAI-o3 pionieren visueel onderbouwd redeneren door dynamisch visuele regio's te refereren, net zoals mensen "denken met beelden". Er bestaat echter nog geen benchmark om deze capaciteiten holistisch te evalueren. Om deze kloof te overbruggen, stellen we TreeBench (Traceable Evidence Evaluation Benchmark) voor, een diagnostische benchmark gebouwd op drie principes: (1) gerichte visuele waarneming van subtiele doelen in complexe scènes, (2) traceerbaar bewijs via bounding box-evaluatie, en (3) tweedegraads redeneren om objectinteracties en ruimtelijke hiërarchieën te testen die verder gaan dan eenvoudige objectlokalisatie. Met prioriteit voor afbeeldingen met dichte objecten, nemen we aanvankelijk 1K hoogwaardige afbeeldingen uit SA-1B, en betrekken we acht LMM-experts om handmatig vragen, kandidaatopties en antwoorden voor elke afbeelding te annoteren. Na drie fasen van kwaliteitscontrole bestaat TreeBench uit 405 uitdagende visuele vraag-antwoordparen, waar zelfs de meest geavanceerde modellen moeite mee hebben, waarbij geen van hen een nauwkeurigheid van 60% bereikt, bijvoorbeeld OpenAI-o3 scoort slechts 54,87. Verder introduceren we TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning), een trainingsparadigma om lokalisatie en redenering gezamenlijk te begeleiden met reinforcement learning, waardoor nauwkeurige lokalisaties en uitlegbare redeneerpaden mogelijk worden. Geïnitialiseerd vanuit Qwen2.5-VL-7B, verbetert het V* Bench (+16,8), MME-RealWorld (+12,6), en TreeBench (+13,4), wat aantoont dat traceerbaarheid essentieel is voor het bevorderen van visueel onderbouwd redeneren. De code is beschikbaar op https://github.com/Haochen-Wang409/TreeVGR.

English

Models like OpenAI-o3 pioneer visual grounded reasoning by dynamically referencing visual regions, just like human "thinking with images". However, no benchmark exists to evaluate these capabilities holistically. To bridge this gap, we propose TreeBench (Traceable Evidence Evaluation Benchmark), a diagnostic benchmark built on three principles: (1) focused visual perception of subtle targets in complex scenes, (2) traceable evidence via bounding box evaluation, and (3) second-order reasoning to test object interactions and spatial hierarchies beyond simple object localization. Prioritizing images with dense objects, we initially sample 1K high-quality images from SA-1B, and incorporate eight LMM experts to manually annotate questions, candidate options, and answers for each image. After three stages of quality control, TreeBench consists of 405 challenging visual question-answering pairs, even the most advanced models struggle with this benchmark, where none of them reach 60% accuracy, e.g., OpenAI-o3 scores only 54.87. Furthermore, we introduce TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning), a training paradigm to supervise localization and reasoning jointly with reinforcement learning, enabling accurate localizations and explainable reasoning pathways. Initialized from Qwen2.5-VL-7B, it improves V* Bench (+16.8), MME-RealWorld (+12.6), and TreeBench (+13.4), proving traceability is key to advancing vision-grounded reasoning. The code is available at https://github.com/Haochen-Wang409/TreeVGR.