Ragionamento Visivo Basato su Prove Tracciabili: Valutazione e Metodologia

Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology

July 10, 2025

Autori: Haochen Wang, Xiangtai Li, Zilong Huang, Anran Wang, Jiacong Wang, Tao Zhang, Jiani Zheng, Sule Bai, Zijian Kang, Jiashi Feng, Zhuochen Wang, Zhaoxiang Zhang

cs.AI

Abstract

Modelli come OpenAI-o3 pionierizzano il ragionamento visivo fondato facendo riferimento dinamicamente a regioni visive, proprio come il "pensare con le immagini" umano. Tuttavia, non esiste un benchmark per valutare queste capacità in modo olistico. Per colmare questa lacuna, proponiamo TreeBench (Traceable Evidence Evaluation Benchmark), un benchmark diagnostico costruito su tre principi: (1) percezione visiva focalizzata su target sottili in scene complesse, (2) evidenza tracciabile tramite valutazione con bounding box, e (3) ragionamento di secondo ordine per testare le interazioni tra oggetti e le gerarchie spaziali oltre la semplice localizzazione di oggetti. Privilegiando immagini con oggetti densi, inizialmente campioniamo 1.000 immagini di alta qualità da SA-1B e coinvolgiamo otto esperti LMM per annotare manualmente domande, opzioni candidate e risposte per ciascuna immagine. Dopo tre fasi di controllo qualità, TreeBench consiste in 405 coppie impegnative di domande e risposte visive, con cui anche i modelli più avanzati faticano, dove nessuno di essi raggiunge il 60% di accuratezza, ad esempio OpenAI-o3 ottiene solo il 54,87%. Inoltre, introduciamo TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning), un paradigma di addestramento per supervisionare congiuntamente la localizzazione e il ragionamento tramite apprendimento per rinforzo, consentendo localizzazioni accurate e percorsi di ragionamento spiegabili. Inizializzato da Qwen2.5-VL-7B, migliora V* Bench (+16,8), MME-RealWorld (+12,6) e TreeBench (+13,4), dimostrando che la tracciabilità è fondamentale per avanzare nel ragionamento fondato sulla visione. Il codice è disponibile su https://github.com/Haochen-Wang409/TreeVGR.

English

Models like OpenAI-o3 pioneer visual grounded reasoning by dynamically referencing visual regions, just like human "thinking with images". However, no benchmark exists to evaluate these capabilities holistically. To bridge this gap, we propose TreeBench (Traceable Evidence Evaluation Benchmark), a diagnostic benchmark built on three principles: (1) focused visual perception of subtle targets in complex scenes, (2) traceable evidence via bounding box evaluation, and (3) second-order reasoning to test object interactions and spatial hierarchies beyond simple object localization. Prioritizing images with dense objects, we initially sample 1K high-quality images from SA-1B, and incorporate eight LMM experts to manually annotate questions, candidate options, and answers for each image. After three stages of quality control, TreeBench consists of 405 challenging visual question-answering pairs, even the most advanced models struggle with this benchmark, where none of them reach 60% accuracy, e.g., OpenAI-o3 scores only 54.87. Furthermore, we introduce TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning), a training paradigm to supervise localization and reasoning jointly with reinforcement learning, enabling accurate localizations and explainable reasoning pathways. Initialized from Qwen2.5-VL-7B, it improves V* Bench (+16.8), MME-RealWorld (+12.6), and TreeBench (+13.4), proving traceability is key to advancing vision-grounded reasoning. The code is available at https://github.com/Haochen-Wang409/TreeVGR.