Nachvollziehbare Beweise verstärktes visuell fundiertes Reasoning: Bewertung und Methodik

Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology

July 10, 2025

papers.authors: Haochen Wang, Xiangtai Li, Zilong Huang, Anran Wang, Jiacong Wang, Tao Zhang, Jiani Zheng, Sule Bai, Zijian Kang, Jiashi Feng, Zhuochen Wang, Zhaoxiang Zhang

cs.AI

papers.abstract

Modelle wie OpenAI-o3 bahnen den Weg für visuell fundiertes Denken, indem sie dynamisch auf visuelle Regionen verweisen, ähnlich wie der menschliche „Denkprozess mit Bildern“. Allerdings existiert kein Benchmark, um diese Fähigkeiten ganzheitlich zu bewerten. Um diese Lücke zu schließen, schlagen wir TreeBench (Traceable Evidence Evaluation Benchmark) vor, einen diagnostischen Benchmark, der auf drei Prinzipien basiert: (1) fokussierte visuelle Wahrnehmung subtiler Ziele in komplexen Szenen, (2) nachvollziehbare Beweise durch Bounding-Box-Evaluierung und (3) zweistufiges Denken, um Objektinteraktionen und räumliche Hierarchien über die einfache Objektlokalisierung hinaus zu testen. Mit einem Fokus auf Bildern mit dichten Objekten, haben wir zunächst 1.000 hochwertige Bilder aus SA-1B ausgewählt und acht LMM-Experten einbezogen, um Fragen, Kandidatenoptionen und Antworten für jedes Bild manuell zu annotieren. Nach drei Qualitätskontrollstufen besteht TreeBench aus 405 anspruchsvollen visuellen Frage-Antwort-Paaren, mit denen selbst die fortschrittlichsten Modelle zu kämpfen haben, da keines von ihnen eine Genauigkeit von 60 % erreicht, z.B. erzielt OpenAI-o3 nur 54,87. Darüber hinaus führen wir TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning) ein, ein Trainingsparadigma, das Lokalisierung und Denken gemeinsam mit Verstärkungslernen überwacht und präzise Lokalisierungen sowie nachvollziehbare Denkpfade ermöglicht. Ausgehend von Qwen2.5-VL-7B verbessert es V* Bench (+16,8), MME-RealWorld (+12,6) und TreeBench (+13,4), was beweist, dass Nachvollziehbarkeit der Schlüssel zur Weiterentwicklung des visuell fundierten Denkens ist. Der Code ist unter https://github.com/Haochen-Wang409/TreeVGR verfügbar.

English

Models like OpenAI-o3 pioneer visual grounded reasoning by dynamically referencing visual regions, just like human "thinking with images". However, no benchmark exists to evaluate these capabilities holistically. To bridge this gap, we propose TreeBench (Traceable Evidence Evaluation Benchmark), a diagnostic benchmark built on three principles: (1) focused visual perception of subtle targets in complex scenes, (2) traceable evidence via bounding box evaluation, and (3) second-order reasoning to test object interactions and spatial hierarchies beyond simple object localization. Prioritizing images with dense objects, we initially sample 1K high-quality images from SA-1B, and incorporate eight LMM experts to manually annotate questions, candidate options, and answers for each image. After three stages of quality control, TreeBench consists of 405 challenging visual question-answering pairs, even the most advanced models struggle with this benchmark, where none of them reach 60% accuracy, e.g., OpenAI-o3 scores only 54.87. Furthermore, we introduce TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning), a training paradigm to supervise localization and reasoning jointly with reinforcement learning, enabling accurate localizations and explainable reasoning pathways. Initialized from Qwen2.5-VL-7B, it improves V* Bench (+16.8), MME-RealWorld (+12.6), and TreeBench (+13.4), proving traceability is key to advancing vision-grounded reasoning. The code is available at https://github.com/Haochen-Wang409/TreeVGR.