IR3D-Bench: Bewertung des Szenenverständnisses von Vision-Sprach-Modellen als agentenbasiertes inverses Rendering

IR3D-Bench: Evaluating Vision-Language Model Scene Understanding as Agentic Inverse Rendering

June 29, 2025

Autoren: Parker Liu, Chenxin Li, Zhengxin Li, Yipeng Wu, Wuyang Li, Zhiqin Yang, Zhenyuan Zhang, Yunlong Lin, Sirui Han, Brandon Y. Feng

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) glänzen bei beschreibenden Aufgaben, doch ob sie Szenen aus visuellen Beobachtungen wirklich verstehen, bleibt ungewiss. Wir stellen IR3D-Bench vor, einen Benchmark, der VLMs herausfordert, Verständnis durch aktives Erschaffen statt passives Erkennen unter Beweis zu stellen. Basierend auf dem Analyse-durch-Synthese-Paradigma fordert IR3D-Bench Vision-Language-Agenten (VLAs) auf, aktiv Programmier- und Rendering-Tools zu nutzen, um die zugrunde liegende 3D-Struktur eines Eingabebildes nachzubilden und so agentenbasiertes inverses Rendering durch Werkzeugnutzung zu erreichen. Dieser „Verstehen-durch-Erschaffen“-Ansatz untersucht die werkzeugnutzende generative Fähigkeit von VLAs und geht über die beschreibende oder konversationelle Kapazität hinaus, die traditionelle Szenenverständnis-Benchmarks messen. Wir bieten eine umfassende Suite von Metriken zur Bewertung geometrischer Genauigkeit, räumlicher Beziehungen, Erscheinungsattribute und der Gesamtplausibilität. Erste Experimente zum agentenbasierten inversen Rendering, unterstützt durch verschiedene state-of-the-art VLMs, verdeutlichen aktuelle Grenzen, insbesondere in der visuellen Präzision und nicht in der grundlegenden Werkzeugnutzung. IR3D-Bench, einschließlich Daten und Evaluationsprotokolle, wird veröffentlicht, um die systematische Erforschung und Entwicklung werkzeugnutzender VLAs hin zu echtem Szenenverständnis durch Erschaffen zu fördern.

English

Vision-language models (VLMs) excel at descriptive tasks, but whether they truly understand scenes from visual observations remains uncertain. We introduce IR3D-Bench, a benchmark challenging VLMs to demonstrate understanding through active creation rather than passive recognition. Grounded in the analysis-by-synthesis paradigm, IR3D-Bench tasks Vision-Language Agents (VLAs) with actively using programming and rendering tools to recreate the underlying 3D structure of an input image, achieving agentic inverse rendering through tool use. This "understanding-by-creating" approach probes the tool-using generative capacity of VLAs, moving beyond the descriptive or conversational capacity measured by traditional scene understanding benchmarks. We provide a comprehensive suite of metrics to evaluate geometric accuracy, spatial relations, appearance attributes, and overall plausibility. Initial experiments on agentic inverse rendering powered by various state-of-the-art VLMs highlight current limitations, particularly in visual precision rather than basic tool usage. IR3D-Bench, including data and evaluation protocols, is released to facilitate systematic study and development of tool-using VLAs towards genuine scene understanding by creating.