Грубая соответственность вызывает понимание трехмерного пространства-времени в мультимодельной языковой модели.

Coarse Correspondence Elicit 3D Spacetime Understanding in Multimodal Language Model

August 1, 2024

Авторы: Benlin Liu, Yuhao Dong, Yiqin Wang, Yongming Rao, Yansong Tang, Wei-Chiu Ma, Ranjay Krishna

cs.AI

Аннотация

Мультимодельные языковые модели (MLLM) все чаще внедряются в реальные среды, что требует от них способности интерпретировать трехмерные пространства и понимать временную динамику. Несмотря на их потенциал, текущие лучшие модели в нашем сообществе все еще недостаточно хорошо понимают пространственные и временные измерения. Мы представляем метод Грубой Корреспонденции - простой, не требующий обучения, эффективный и универсальный визуальный метод подсказки для вызова понимания трехмерных и временных аспектов в мультимодельных LLM. Наш метод использует легкую модель отслеживания для нахождения соответствий объектов между кадрами видео или между наборами точек зрения изображений. Он выбирает наиболее часто встречающиеся экземпляры объектов и визуализирует их с помощью маркеров с уникальными идентификаторами на изображении. С помощью этого простого подхода мы достигаем лучших результатов на бенчмарках понимания трехмерного пространства, включая ScanQA (+20.5\%) и подмножество OpenEQA (+9.7\%), а также на бенчмарках длинных видео, таких как EgoSchema (+6.0\%). Мы также создали небольшой диагностический набор данных для оценки способности MLLM рассуждать о пространстве с описанной точки зрения, отличной от точки зрения камеры. Опять же, Грубая Корреспонденция улучшает способности перспективного восприятия пространства, но мы отмечаем, что MLLM имеют трудности с этой задачей. Вместе мы демонстрируем, что наш простой метод подсказки может значительно помочь в задачах, требующих трехмерного или временного рассуждения.

English

Multimodal language models (MLLMs) are increasingly being implemented in real-world environments, necessitating their ability to interpret 3D spaces and comprehend temporal dynamics. Despite their potential, current top models within our community still fall short in adequately understanding spatial and temporal dimensions. We introduce Coarse Correspondence, a simple, training-free, effective, and general-purpose visual prompting method to elicit 3D and temporal understanding in multimodal LLMs. Our method uses a lightweight tracking model to find object correspondences between frames in a video or between sets of image viewpoints. It selects the most frequent object instances and visualizes them with markers with unique IDs in the image. With this simple approach, we achieve state-of-the-art results on 3D understanding benchmarks including ScanQA (+20.5\%) and a subset of OpenEQA (+9.7\%), and on long-form video benchmarks such as EgoSchema (+6.0\%). We also curate a small diagnostic dataset to evaluate whether MLLMs can reason about space from a described viewpoint other than the camera viewpoint. Again, Coarse Correspondence improves spatial perspective-taking abilities but we highlight that MLLMs struggle with this task. Together, we demonstrate that our simple prompting method can significantly aid downstream tasks that require 3D or temporal reasoning.