Визуальное обоснование с улучшенными отслеживаемыми доказательствами: оценка и методология
Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology
July 10, 2025
Авторы: Haochen Wang, Xiangtai Li, Zilong Huang, Anran Wang, Jiacong Wang, Tao Zhang, Jiani Zheng, Sule Bai, Zijian Kang, Jiashi Feng, Zhuochen Wang, Zhaoxiang Zhang
cs.AI
Аннотация
Модели, такие как OpenAI-o3, прокладывают путь в визуально обоснованном рассуждении, динамически ссылаясь на визуальные области, подобно тому, как человек "мыслит образами". Однако отсутствует эталонный тест для комплексной оценки этих возможностей. Чтобы устранить этот пробел, мы предлагаем TreeBench (Traceable Evidence Evaluation Benchmark) — диагностический эталон, построенный на трех принципах: (1) фокусированное визуальное восприятие тонких объектов в сложных сценах, (2) отслеживаемые доказательства через оценку ограничивающих рамок и (3) рассуждения второго порядка для проверки взаимодействий объектов и пространственных иерархий, выходящих за рамки простой локализации объектов. Отдавая приоритет изображениям с плотным расположением объектов, мы изначально отобрали 1 тыс. высококачественных изображений из SA-1B и привлекли восемь экспертов по LMM для ручной аннотации вопросов, вариантов ответов и правильных ответов для каждого изображения. После трех этапов контроля качества TreeBench состоит из 405 сложных визуальных вопросно-ответных пар, с которыми даже самые передовые модели справляются с трудом, ни одна из них не достигает точности 60%, например, OpenAI-o3 показывает лишь 54,87. Кроме того, мы представляем TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning) — парадигму обучения для совместного контроля локализации и рассуждений с использованием обучения с подкреплением, что обеспечивает точную локализацию и объяснимые пути рассуждений. Инициализированная на основе Qwen2.5-VL-7B, она улучшает показатели на V* Bench (+16,8), MME-RealWorld (+12,6) и TreeBench (+13,4), доказывая, что отслеживаемость является ключом к прогрессу в визуально обоснованном рассуждении. Код доступен по адресу https://github.com/Haochen-Wang409/TreeVGR.
English
Models like OpenAI-o3 pioneer visual grounded reasoning by dynamically
referencing visual regions, just like human "thinking with images". However, no
benchmark exists to evaluate these capabilities holistically. To bridge this
gap, we propose TreeBench (Traceable Evidence Evaluation Benchmark), a
diagnostic benchmark built on three principles: (1) focused visual perception
of subtle targets in complex scenes, (2) traceable evidence via bounding box
evaluation, and (3) second-order reasoning to test object interactions and
spatial hierarchies beyond simple object localization. Prioritizing images with
dense objects, we initially sample 1K high-quality images from SA-1B, and
incorporate eight LMM experts to manually annotate questions, candidate
options, and answers for each image. After three stages of quality control,
TreeBench consists of 405 challenging visual question-answering pairs, even the
most advanced models struggle with this benchmark, where none of them reach 60%
accuracy, e.g., OpenAI-o3 scores only 54.87. Furthermore, we introduce TreeVGR
(Traceable Evidence Enhanced Visual Grounded Reasoning), a training paradigm to
supervise localization and reasoning jointly with reinforcement learning,
enabling accurate localizations and explainable reasoning pathways. Initialized
from Qwen2.5-VL-7B, it improves V* Bench (+16.8), MME-RealWorld (+12.6), and
TreeBench (+13.4), proving traceability is key to advancing vision-grounded
reasoning. The code is available at https://github.com/Haochen-Wang409/TreeVGR.