La correspondance approximative suscite une compréhension spatio-temporelle 3D dans les modèles de langage multimodaux.

Coarse Correspondence Elicit 3D Spacetime Understanding in Multimodal Language Model

August 1, 2024

Auteurs: Benlin Liu, Yuhao Dong, Yiqin Wang, Yongming Rao, Yansong Tang, Wei-Chiu Ma, Ranjay Krishna

cs.AI

Résumé

Les modèles de langage multimodaux (MLLMs) sont de plus en plus déployés dans des environnements réels, ce qui nécessite leur capacité à interpréter des espaces 3D et à comprendre les dynamiques temporelles. Malgré leur potentiel, les meilleurs modèles actuels de notre communauté peinent encore à appréhender de manière adéquate les dimensions spatiales et temporelles. Nous introduisons Coarse Correspondence, une méthode simple, efficace, polyvalente et ne nécessitant pas d'entraînement, conçue pour susciter une compréhension 3D et temporelle dans les MLLMs. Notre méthode utilise un modèle de suivi léger pour établir des correspondances d'objets entre les images d'une vidéo ou entre des ensembles de points de vue d'images. Elle sélectionne les instances d'objets les plus fréquentes et les visualise avec des marqueurs dotés d'identifiants uniques dans l'image. Avec cette approche simple, nous obtenons des résultats de pointe sur des benchmarks de compréhension 3D, notamment ScanQA (+20,5\%) et un sous-ensemble d'OpenEQA (+9,7\%), ainsi que sur des benchmarks de vidéos longues comme EgoSchema (+6,0\%). Nous avons également constitué un petit ensemble de données diagnostiques pour évaluer si les MLLMs peuvent raisonner sur l'espace à partir d'un point de vue décrit autre que celui de la caméra. Une fois encore, Coarse Correspondence améliore les capacités de prise de perspective spatiale, mais nous soulignons que les MLLMs rencontrent des difficultés avec cette tâche. Ensemble, nous démontrons que notre méthode de prompting simple peut considérablement aider les tâches en aval nécessitant un raisonnement 3D ou temporel.

English

Multimodal language models (MLLMs) are increasingly being implemented in real-world environments, necessitating their ability to interpret 3D spaces and comprehend temporal dynamics. Despite their potential, current top models within our community still fall short in adequately understanding spatial and temporal dimensions. We introduce Coarse Correspondence, a simple, training-free, effective, and general-purpose visual prompting method to elicit 3D and temporal understanding in multimodal LLMs. Our method uses a lightweight tracking model to find object correspondences between frames in a video or between sets of image viewpoints. It selects the most frequent object instances and visualizes them with markers with unique IDs in the image. With this simple approach, we achieve state-of-the-art results on 3D understanding benchmarks including ScanQA (+20.5\%) and a subset of OpenEQA (+9.7\%), and on long-form video benchmarks such as EgoSchema (+6.0\%). We also curate a small diagnostic dataset to evaluate whether MLLMs can reason about space from a described viewpoint other than the camera viewpoint. Again, Coarse Correspondence improves spatial perspective-taking abilities but we highlight that MLLMs struggle with this task. Together, we demonstrate that our simple prompting method can significantly aid downstream tasks that require 3D or temporal reasoning.