거친 대응 관계가 다중모달 언어 모델에서 3D 시공간 이해를 이끌어냄

Coarse Correspondence Elicit 3D Spacetime Understanding in Multimodal Language Model

August 1, 2024

저자: Benlin Liu, Yuhao Dong, Yiqin Wang, Yongming Rao, Yansong Tang, Wei-Chiu Ma, Ranjay Krishna

cs.AI

초록

멀티모달 언어 모델(MLLM)은 실제 환경에서 점점 더 많이 구현되면서 3D 공간 해석과 시간적 역학 이해 능력이 요구되고 있습니다. 이러한 잠재력에도 불구하고, 현재 우리 커뮤니티 내 최상위 모델들은 여전히 공간적 및 시간적 차원을 충분히 이해하지 못하고 있습니다. 우리는 Coarse Correspondence라는 간단하고, 훈련이 필요 없으며, 효과적이며, 범용적인 시각적 프롬프팅 방법을 소개하여 멀티모달 LLM에서 3D 및 시간적 이해를 유도합니다. 우리의 방법은 경량 추적 모델을 사용하여 비디오 프레임 간 또는 이미지 뷰포인트 세트 간의 객체 대응 관계를 찾습니다. 이 방법은 가장 빈번하게 등장하는 객체 인스턴스를 선택하고 이미지에서 고유 ID를 가진 마커로 시각화합니다. 이 간단한 접근 방식을 통해, 우리는 ScanQA(+20.5%) 및 OpenEQA의 하위 집합(+9.7%)을 포함한 3D 이해 벤치마크와 EgoSchema(+6.0%)와 같은 장편 비디오 벤치마크에서 최첨단 결과를 달성했습니다. 또한, 우리는 MLLM이 카메라 뷰포인트 이외의 설명된 뷰포인트에서 공간을 추론할 수 있는지 평가하기 위해 작은 진단 데이터셋을 구성했습니다. 다시 한번, Coarse Correspondence는 공간적 관점 수용 능력을 향상시켰지만, MLLM이 이 작업에 어려움을 겪고 있음을 강조합니다. 종합적으로, 우리의 간단한 프롬프팅 방법이 3D 또는 시간적 추론이 필요한 다운스트림 작업에 상당한 도움을 줄 수 있음을 입증합니다.

English

Multimodal language models (MLLMs) are increasingly being implemented in real-world environments, necessitating their ability to interpret 3D spaces and comprehend temporal dynamics. Despite their potential, current top models within our community still fall short in adequately understanding spatial and temporal dimensions. We introduce Coarse Correspondence, a simple, training-free, effective, and general-purpose visual prompting method to elicit 3D and temporal understanding in multimodal LLMs. Our method uses a lightweight tracking model to find object correspondences between frames in a video or between sets of image viewpoints. It selects the most frequent object instances and visualizes them with markers with unique IDs in the image. With this simple approach, we achieve state-of-the-art results on 3D understanding benchmarks including ScanQA (+20.5\%) and a subset of OpenEQA (+9.7\%), and on long-form video benchmarks such as EgoSchema (+6.0\%). We also curate a small diagnostic dataset to evaluate whether MLLMs can reason about space from a described viewpoint other than the camera viewpoint. Again, Coarse Correspondence improves spatial perspective-taking abilities but we highlight that MLLMs struggle with this task. Together, we demonstrate that our simple prompting method can significantly aid downstream tasks that require 3D or temporal reasoning.