La Corrispondenza Approssimativa Stimola la Comprensione Spaziotemporale 3D nei Modelli Linguistici Multimodali

Coarse Correspondence Elicit 3D Spacetime Understanding in Multimodal Language Model

August 1, 2024

Autori: Benlin Liu, Yuhao Dong, Yiqin Wang, Yongming Rao, Yansong Tang, Wei-Chiu Ma, Ranjay Krishna

cs.AI

Abstract

I modelli linguistici multimodali (MLLM) stanno sempre più venendo implementati in ambienti reali, rendendo necessaria la loro capacità di interpretare spazi 3D e comprendere dinamiche temporali. Nonostante il loro potenziale, i migliori modelli attuali all'interno della nostra comunità non sono ancora in grado di comprendere adeguatamente le dimensioni spaziali e temporali. Introduciamo Coarse Correspondence, un metodo semplice, efficace, generico e privo di addestramento per stimolare la comprensione 3D e temporale nei MLLM. Il nostro metodo utilizza un modello di tracciamento leggero per trovare corrispondenze di oggetti tra i fotogrammi di un video o tra insiemi di punti di vista delle immagini. Seleziona le istanze di oggetti più frequenti e le visualizza con marcatori dotati di ID univoci nell'immagine. Con questo approccio semplice, otteniamo risultati all'avanguardia nei benchmark di comprensione 3D, tra cui ScanQA (+20,5%) e un sottoinsieme di OpenEQA (+9,7%), e nei benchmark di video di lunga durata come EgoSchema (+6,0%). Abbiamo inoltre curato un piccolo dataset diagnostico per valutare se i MLLM siano in grado di ragionare sullo spazio da un punto di vista descritto diverso da quello della telecamera. Ancora una volta, Coarse Correspondence migliora le capacità di assunzione di prospettiva spaziale, ma evidenziamo che i MLLM faticano in questo compito. Insieme, dimostriamo che il nostro semplice metodo di prompting può aiutare significativamente i task downstream che richiedono ragionamento 3D o temporale.

English

Multimodal language models (MLLMs) are increasingly being implemented in real-world environments, necessitating their ability to interpret 3D spaces and comprehend temporal dynamics. Despite their potential, current top models within our community still fall short in adequately understanding spatial and temporal dimensions. We introduce Coarse Correspondence, a simple, training-free, effective, and general-purpose visual prompting method to elicit 3D and temporal understanding in multimodal LLMs. Our method uses a lightweight tracking model to find object correspondences between frames in a video or between sets of image viewpoints. It selects the most frequent object instances and visualizes them with markers with unique IDs in the image. With this simple approach, we achieve state-of-the-art results on 3D understanding benchmarks including ScanQA (+20.5\%) and a subset of OpenEQA (+9.7\%), and on long-form video benchmarks such as EgoSchema (+6.0\%). We also curate a small diagnostic dataset to evaluate whether MLLMs can reason about space from a described viewpoint other than the camera viewpoint. Again, Coarse Correspondence improves spatial perspective-taking abilities but we highlight that MLLMs struggle with this task. Together, we demonstrate that our simple prompting method can significantly aid downstream tasks that require 3D or temporal reasoning.