Raciocínio Visual Fundamentado Aprimorado por Evidências Rastreáveis: Avaliação e Metodologia
Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology
July 10, 2025
Autores: Haochen Wang, Xiangtai Li, Zilong Huang, Anran Wang, Jiacong Wang, Tao Zhang, Jiani Zheng, Sule Bai, Zijian Kang, Jiashi Feng, Zhuochen Wang, Zhaoxiang Zhang
cs.AI
Resumo
Modelos como o OpenAI-o3 pioneiram o raciocínio visual fundamentado ao referenciar dinamicamente regiões visuais, assim como os humanos "pensam com imagens". No entanto, não existe um benchmark para avaliar essas capacidades de forma holística. Para preencher essa lacuna, propomos o TreeBench (Traceable Evidence Evaluation Benchmark), um benchmark diagnóstico construído sobre três princípios: (1) percepção visual focada em alvos sutis em cenas complexas, (2) evidência rastreável via avaliação de caixas delimitadoras, e (3) raciocínio de segunda ordem para testar interações entre objetos e hierarquias espaciais além da simples localização de objetos. Priorizando imagens com objetos densos, inicialmente amostramos 1K imagens de alta qualidade do SA-1B e incorporamos oito especialistas em LMM para anotar manualmente perguntas, opções candidatas e respostas para cada imagem. Após três etapas de controle de qualidade, o TreeBench consiste em 405 pares desafiadores de perguntas e respostas visuais, onde até os modelos mais avançados lutam para superar este benchmark, com nenhum deles atingindo 60% de precisão, por exemplo, o OpenAI-o3 pontua apenas 54,87. Além disso, introduzimos o TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning), um paradigma de treinamento para supervisionar localização e raciocínio conjuntamente com aprendizado por reforço, permitindo localizações precisas e caminhos de raciocínio explicáveis. Inicializado a partir do Qwen2.5-VL-7B, ele melhora o V* Bench (+16,8), o MME-RealWorld (+12,6) e o TreeBench (+13,4), provando que a rastreabilidade é fundamental para avançar o raciocínio fundamentado em visão. O código está disponível em https://github.com/Haochen-Wang409/TreeVGR.
English
Models like OpenAI-o3 pioneer visual grounded reasoning by dynamically
referencing visual regions, just like human "thinking with images". However, no
benchmark exists to evaluate these capabilities holistically. To bridge this
gap, we propose TreeBench (Traceable Evidence Evaluation Benchmark), a
diagnostic benchmark built on three principles: (1) focused visual perception
of subtle targets in complex scenes, (2) traceable evidence via bounding box
evaluation, and (3) second-order reasoning to test object interactions and
spatial hierarchies beyond simple object localization. Prioritizing images with
dense objects, we initially sample 1K high-quality images from SA-1B, and
incorporate eight LMM experts to manually annotate questions, candidate
options, and answers for each image. After three stages of quality control,
TreeBench consists of 405 challenging visual question-answering pairs, even the
most advanced models struggle with this benchmark, where none of them reach 60%
accuracy, e.g., OpenAI-o3 scores only 54.87. Furthermore, we introduce TreeVGR
(Traceable Evidence Enhanced Visual Grounded Reasoning), a training paradigm to
supervise localization and reasoning jointly with reinforcement learning,
enabling accurate localizations and explainable reasoning pathways. Initialized
from Qwen2.5-VL-7B, it improves V* Bench (+16.8), MME-RealWorld (+12.6), and
TreeBench (+13.4), proving traceability is key to advancing vision-grounded
reasoning. The code is available at https://github.com/Haochen-Wang409/TreeVGR.