Grove correspondentie wekt 3D ruimte-tijd begrip op in multimodale taalmodellen

Coarse Correspondence Elicit 3D Spacetime Understanding in Multimodal Language Model

August 1, 2024

Auteurs: Benlin Liu, Yuhao Dong, Yiqin Wang, Yongming Rao, Yansong Tang, Wei-Chiu Ma, Ranjay Krishna

cs.AI

Samenvatting

Multimodale taalmodellen (MLLMs) worden steeds vaker geïmplementeerd in realistische omgevingen, wat vereist dat ze 3D-ruimtes kunnen interpreteren en tijdelijke dynamiek kunnen begrijpen. Ondanks hun potentieel schieten de huidige topmodellen binnen onze gemeenschap nog tekort in het adequaat begrijpen van ruimtelijke en temporele dimensies. We introduceren Coarse Correspondence, een eenvoudige, trainingsvrije, effectieve en algemene visuele promptmethode om 3D- en temporeel begrip in multimodale LLMs te stimuleren. Onze methode gebruikt een lichtgewicht trackingmodel om objectcorrespondenties te vinden tussen frames in een video of tussen sets van beeldperspectieven. Het selecteert de meest voorkomende objectinstanties en visualiseert deze met markeringen met unieke ID's in de afbeelding. Met deze eenvoudige aanpak behalen we state-of-the-art resultaten op 3D-begripbenchmarks, waaronder ScanQA (+20,5\%) en een subset van OpenEQA (+9,7\%), en op langdurige videobenchmarks zoals EgoSchema (+6,0\%). We hebben ook een kleine diagnostische dataset samengesteld om te evalueren of MLLMs kunnen redeneren over ruimte vanuit een beschreven perspectief dat verschilt van het cameraperspectief. Opnieuw verbetert Coarse Correspondence de ruimtelijke perspectiefnamevaardigheden, maar we benadrukken dat MLLMs moeite hebben met deze taak. Samen tonen we aan dat onze eenvoudige promptmethode aanzienlijk kan bijdragen aan downstream taken die 3D- of temporeel redeneren vereisen.

English

Multimodal language models (MLLMs) are increasingly being implemented in real-world environments, necessitating their ability to interpret 3D spaces and comprehend temporal dynamics. Despite their potential, current top models within our community still fall short in adequately understanding spatial and temporal dimensions. We introduce Coarse Correspondence, a simple, training-free, effective, and general-purpose visual prompting method to elicit 3D and temporal understanding in multimodal LLMs. Our method uses a lightweight tracking model to find object correspondences between frames in a video or between sets of image viewpoints. It selects the most frequent object instances and visualizes them with markers with unique IDs in the image. With this simple approach, we achieve state-of-the-art results on 3D understanding benchmarks including ScanQA (+20.5\%) and a subset of OpenEQA (+9.7\%), and on long-form video benchmarks such as EgoSchema (+6.0\%). We also curate a small diagnostic dataset to evaluate whether MLLMs can reason about space from a described viewpoint other than the camera viewpoint. Again, Coarse Correspondence improves spatial perspective-taking abilities but we highlight that MLLMs struggle with this task. Together, we demonstrate that our simple prompting method can significantly aid downstream tasks that require 3D or temporal reasoning.