IR3D-Bench: Оценка понимания сцены моделями "визуальный язык" как агентного обратного рендеринга

IR3D-Bench: Evaluating Vision-Language Model Scene Understanding as Agentic Inverse Rendering

June 29, 2025

Авторы: Parker Liu, Chenxin Li, Zhengxin Li, Yipeng Wu, Wuyang Li, Zhiqin Yang, Zhenyuan Zhang, Yunlong Lin, Sirui Han, Brandon Y. Feng

cs.AI

Аннотация

Модели, работающие с визуальными и языковыми данными (Vision-Language Models, VLMs), преуспевают в описательных задачах, однако остается неясным, действительно ли они понимают сцены на основе визуальных наблюдений. Мы представляем IR3D-Bench — эталонный тест, который бросает вызов VLMs, требуя от них продемонстрировать понимание через активное создание, а не пассивное распознавание. Основанный на парадигме анализа через синтез, IR3D-Bench ставит перед агентами, работающими с визуальными и языковыми данными (Vision-Language Agents, VLAs), задачу активного использования инструментов программирования и визуализации для воссоздания базовой 3D-структуры входного изображения, достигая агентного обратного рендеринга через использование инструментов. Этот подход "понимание через создание" исследует генеративные способности VLAs, связанные с использованием инструментов, выходя за рамки описательных или диалоговых возможностей, измеряемых традиционными тестами на понимание сцен. Мы предлагаем комплексный набор метрик для оценки геометрической точности, пространственных отношений, атрибутов внешнего вида и общей правдоподобности. Первоначальные эксперименты по агентному обратному рендерингу, основанному на различных современных VLMs, выявляют текущие ограничения, особенно в визуальной точности, а не в базовом использовании инструментов. IR3D-Bench, включая данные и протоколы оценки, публикуется для содействия систематическому изучению и разработке VLAs, использующих инструменты, с целью достижения подлинного понимания сцен через создание.

English

Vision-language models (VLMs) excel at descriptive tasks, but whether they truly understand scenes from visual observations remains uncertain. We introduce IR3D-Bench, a benchmark challenging VLMs to demonstrate understanding through active creation rather than passive recognition. Grounded in the analysis-by-synthesis paradigm, IR3D-Bench tasks Vision-Language Agents (VLAs) with actively using programming and rendering tools to recreate the underlying 3D structure of an input image, achieving agentic inverse rendering through tool use. This "understanding-by-creating" approach probes the tool-using generative capacity of VLAs, moving beyond the descriptive or conversational capacity measured by traditional scene understanding benchmarks. We provide a comprehensive suite of metrics to evaluate geometric accuracy, spatial relations, appearance attributes, and overall plausibility. Initial experiments on agentic inverse rendering powered by various state-of-the-art VLMs highlight current limitations, particularly in visual precision rather than basic tool usage. IR3D-Bench, including data and evaluation protocols, is released to facilitate systematic study and development of tool-using VLAs towards genuine scene understanding by creating.