Razonamiento Visual Fundamentado Mejorado con Evidencia Rastreable: Evaluación y Metodología

Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology

July 10, 2025

Autores: Haochen Wang, Xiangtai Li, Zilong Huang, Anran Wang, Jiacong Wang, Tao Zhang, Jiani Zheng, Sule Bai, Zijian Kang, Jiashi Feng, Zhuochen Wang, Zhaoxiang Zhang

cs.AI

Resumen

Modelos como OpenAI-o3 son pioneros en el razonamiento visual fundamentado al hacer referencia dinámica a regiones visuales, similar a cómo los humanos "piensan con imágenes". Sin embargo, no existe un punto de referencia para evaluar estas capacidades de manera integral. Para cerrar esta brecha, proponemos TreeBench (Traceable Evidence Evaluation Benchmark), un punto de referencia diagnóstico construido sobre tres principios: (1) percepción visual enfocada en objetivos sutiles en escenas complejas, (2) evidencia rastreable mediante evaluación de cuadros delimitadores, y (3) razonamiento de segundo orden para probar interacciones de objetos y jerarquías espaciales más allá de la simple localización de objetos. Priorizando imágenes con objetos densos, inicialmente muestreamos 1,000 imágenes de alta calidad de SA-1B e incorporamos a ocho expertos en LMM para anotar manualmente preguntas, opciones candidatas y respuestas para cada imagen. Después de tres etapas de control de calidad, TreeBench consta de 405 pares desafiantes de preguntas y respuestas visuales, donde incluso los modelos más avanzados tienen dificultades con este punto de referencia, ya que ninguno alcanza el 60% de precisión, por ejemplo, OpenAI-o3 solo obtiene un 54.87. Además, presentamos TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning), un paradigma de entrenamiento para supervisar la localización y el razonamiento conjuntamente con aprendizaje por refuerzo, permitiendo localizaciones precisas y rutas de razonamiento explicables. Inicializado desde Qwen2.5-VL-7B, mejora V* Bench (+16.8), MME-RealWorld (+12.6) y TreeBench (+13.4), demostrando que la rastreabilidad es clave para avanzar en el razonamiento fundamentado en visión. El código está disponible en https://github.com/Haochen-Wang409/TreeVGR.

English

Models like OpenAI-o3 pioneer visual grounded reasoning by dynamically referencing visual regions, just like human "thinking with images". However, no benchmark exists to evaluate these capabilities holistically. To bridge this gap, we propose TreeBench (Traceable Evidence Evaluation Benchmark), a diagnostic benchmark built on three principles: (1) focused visual perception of subtle targets in complex scenes, (2) traceable evidence via bounding box evaluation, and (3) second-order reasoning to test object interactions and spatial hierarchies beyond simple object localization. Prioritizing images with dense objects, we initially sample 1K high-quality images from SA-1B, and incorporate eight LMM experts to manually annotate questions, candidate options, and answers for each image. After three stages of quality control, TreeBench consists of 405 challenging visual question-answering pairs, even the most advanced models struggle with this benchmark, where none of them reach 60% accuracy, e.g., OpenAI-o3 scores only 54.87. Furthermore, we introduce TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning), a training paradigm to supervise localization and reasoning jointly with reinforcement learning, enabling accurate localizations and explainable reasoning pathways. Initialized from Qwen2.5-VL-7B, it improves V* Bench (+16.8), MME-RealWorld (+12.6), and TreeBench (+13.4), proving traceability is key to advancing vision-grounded reasoning. The code is available at https://github.com/Haochen-Wang409/TreeVGR.