IR3D-Bench: エージェント的逆レンダリングとしての視覚言語モデルのシーン理解評価

要旨

視覚言語モデル（VLM）は記述タスクにおいて優れた性能を発揮するが、視覚的観察からシーンを真に理解しているかどうかは不確かである。本研究では、IR3D-Benchを提案し、VLMが受動的な認識ではなく、能動的な創造を通じて理解を示すことを求めるベンチマークを構築する。分析-合成パラダイムに基づき、IR3D-Benchは視覚言語エージェント（VLA）に対し、プログラミングおよびレンダリングツールを積極的に使用して入力画像の基盤となる3D構造を再構築するタスクを課し、ツール使用による能動的逆レンダリングを実現する。この「創造による理解」アプローチは、従来のシーン理解ベンチマークで測定される記述的または会話的能力を超え、VLAのツール使用生成能力を探るものである。幾何学的精度、空間関係、外観属性、全体的な妥当性を評価するための包括的なメトリクスを提供する。最先端のVLMを活用した能動的逆レンダリングに関する初期実験では、基本的なツール使用ではなく、視覚的精度における現在の限界が浮き彫りとなった。IR3D-Benchは、データと評価プロトコルを含めて公開され、ツール使用VLAの体系的な研究と開発を促進し、創造を通じた真のシーン理解に向けた進展を支援する。

English

Vision-language models (VLMs) excel at descriptive tasks, but whether they truly understand scenes from visual observations remains uncertain. We introduce IR3D-Bench, a benchmark challenging VLMs to demonstrate understanding through active creation rather than passive recognition. Grounded in the analysis-by-synthesis paradigm, IR3D-Bench tasks Vision-Language Agents (VLAs) with actively using programming and rendering tools to recreate the underlying 3D structure of an input image, achieving agentic inverse rendering through tool use. This "understanding-by-creating" approach probes the tool-using generative capacity of VLAs, moving beyond the descriptive or conversational capacity measured by traditional scene understanding benchmarks. We provide a comprehensive suite of metrics to evaluate geometric accuracy, spatial relations, appearance attributes, and overall plausibility. Initial experiments on agentic inverse rendering powered by various state-of-the-art VLMs highlight current limitations, particularly in visual precision rather than basic tool usage. IR3D-Bench, including data and evaluation protocols, is released to facilitate systematic study and development of tool-using VLAs towards genuine scene understanding by creating.

IR3D-Bench: エージェント的逆レンダリングとしての視覚言語モデルのシーン理解評価

IR3D-Bench: Evaluating Vision-Language Model Scene Understanding as Agentic Inverse Rendering

要旨

Support