粗い対応関係がマルチモーダル言語モデルにおける3D時空間理解を引き起こす

Coarse Correspondence Elicit 3D Spacetime Understanding in Multimodal Language Model

August 1, 2024

著者: Benlin Liu, Yuhao Dong, Yiqin Wang, Yongming Rao, Yansong Tang, Wei-Chiu Ma, Ranjay Krishna

cs.AI

要旨

マルチモーダル言語モデル（MLLMs）は、現実世界の環境でますます実装されるようになっており、3D空間を解釈し、時間的ダイナミクスを理解する能力が求められています。その潜在能力にもかかわらず、現在のコミュニティ内のトップモデルは、空間的および時間的次元を十分に理解する点でまだ不十分です。本論文では、マルチモーダルLLMsにおける3Dおよび時間的理解を引き出すための、シンプルでトレーニング不要、効果的かつ汎用的な視覚的プロンプト手法である「Coarse Correspondence」を紹介します。この手法は、軽量なトラッキングモデルを使用して、ビデオ内のフレーム間または画像視点セット間のオブジェクト対応関係を見つけます。最も頻繁に現れるオブジェクトインスタンスを選択し、それらを画像内で一意のIDを持つマーカーで視覚化します。このシンプルなアプローチにより、ScanQA（+20.5%）やOpenEQAのサブセット（+9.7%）などの3D理解ベンチマーク、およびEgoSchema（+6.0%）などの長編ビデオベンチマークにおいて、最先端の結果を達成しました。また、MLLMsがカメラ視点以外の記述された視点から空間を推論できるかどうかを評価するための小さな診断データセットをキュレーションしました。ここでも、Coarse Correspondenceは空間的視点取得能力を向上させますが、MLLMsがこのタスクに苦戦していることを強調します。全体として、このシンプルなプロンプト手法が、3Dまたは時間的推論を必要とする下流タスクを大幅に支援できることを実証しました。

English

Multimodal language models (MLLMs) are increasingly being implemented in real-world environments, necessitating their ability to interpret 3D spaces and comprehend temporal dynamics. Despite their potential, current top models within our community still fall short in adequately understanding spatial and temporal dimensions. We introduce Coarse Correspondence, a simple, training-free, effective, and general-purpose visual prompting method to elicit 3D and temporal understanding in multimodal LLMs. Our method uses a lightweight tracking model to find object correspondences between frames in a video or between sets of image viewpoints. It selects the most frequent object instances and visualizes them with markers with unique IDs in the image. With this simple approach, we achieve state-of-the-art results on 3D understanding benchmarks including ScanQA (+20.5\%) and a subset of OpenEQA (+9.7\%), and on long-form video benchmarks such as EgoSchema (+6.0\%). We also curate a small diagnostic dataset to evaluate whether MLLMs can reason about space from a described viewpoint other than the camera viewpoint. Again, Coarse Correspondence improves spatial perspective-taking abilities but we highlight that MLLMs struggle with this task. Together, we demonstrate that our simple prompting method can significantly aid downstream tasks that require 3D or temporal reasoning.