Correspondência Grosseira Elicita Compreensão Tridimensional do Espaço-Tempo em Modelo de Linguagem Multimodal

Coarse Correspondence Elicit 3D Spacetime Understanding in Multimodal Language Model

August 1, 2024

Autores: Benlin Liu, Yuhao Dong, Yiqin Wang, Yongming Rao, Yansong Tang, Wei-Chiu Ma, Ranjay Krishna

cs.AI

Resumo

Os modelos de linguagem multimodais (MLLMs) estão sendo cada vez mais implementados em ambientes do mundo real, exigindo sua capacidade de interpretar espaços 3D e compreender dinâmicas temporais. Apesar de seu potencial, os modelos líderes atuais em nossa comunidade ainda deixam a desejar na compreensão adequada das dimensões espaciais e temporais. Apresentamos a Correspondência Grossa, um método visual simples, sem necessidade de treinamento, eficaz e de uso geral para provocar a compreensão 3D e temporal nos MLLMs multimodais. Nosso método utiliza um modelo de rastreamento leve para encontrar correspondências de objetos entre frames em um vídeo ou entre conjuntos de pontos de vista de imagem. Ele seleciona as instâncias de objetos mais frequentes e as visualiza com marcadores com IDs únicos na imagem. Com essa abordagem simples, alcançamos resultados de ponta em benchmarks de compreensão 3D, incluindo ScanQA (+20,5\%) e um subconjunto do OpenEQA (+9,7\%), e em benchmarks de vídeo de longa duração, como EgoSchema (+6,0\%). Também criamos um pequeno conjunto de dados de diagnóstico para avaliar se os MLLMs podem raciocinar sobre o espaço a partir de um ponto de vista descrito que não seja o ponto de vista da câmera. Novamente, a Correspondência Grossa melhora as habilidades de perspectiva espacial, mas destacamos que os MLLMs têm dificuldade com essa tarefa. Em conjunto, demonstramos que nosso simples método de provocação pode auxiliar significativamente em tarefas subsequentes que exigem raciocínio 3D ou temporal.

English

Multimodal language models (MLLMs) are increasingly being implemented in real-world environments, necessitating their ability to interpret 3D spaces and comprehend temporal dynamics. Despite their potential, current top models within our community still fall short in adequately understanding spatial and temporal dimensions. We introduce Coarse Correspondence, a simple, training-free, effective, and general-purpose visual prompting method to elicit 3D and temporal understanding in multimodal LLMs. Our method uses a lightweight tracking model to find object correspondences between frames in a video or between sets of image viewpoints. It selects the most frequent object instances and visualizes them with markers with unique IDs in the image. With this simple approach, we achieve state-of-the-art results on 3D understanding benchmarks including ScanQA (+20.5\%) and a subset of OpenEQA (+9.7\%), and on long-form video benchmarks such as EgoSchema (+6.0\%). We also curate a small diagnostic dataset to evaluate whether MLLMs can reason about space from a described viewpoint other than the camera viewpoint. Again, Coarse Correspondence improves spatial perspective-taking abilities but we highlight that MLLMs struggle with this task. Together, we demonstrate that our simple prompting method can significantly aid downstream tasks that require 3D or temporal reasoning.