4D-Bench: Оценка многомодальных больших языковых моделей для понимания 4D-объектов

4D-Bench: Benchmarking Multi-modal Large Language Models for 4D Object Understanding

March 22, 2025

Авторы: Wenxuan Zhu, Bing Li, Cheng Zheng, Jinjie Mai, Jun Chen, Letian Jiang, Abdullah Hamdi, Sara Rojas Martinez, Chia-Wen Lin, Mohamed Elhoseiny, Bernard Ghanem

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLMs) продемонстрировали впечатляющие способности в понимании 2D изображений и видео. Однако отсутствуют публично стандартизированные бенчмарки для оценки способностей MLLMs в понимании 4D объектов (3D объектов с временной эволюцией). В данной статье мы представляем 4D-Bench — первый бенчмарк для оценки возможностей MLLMs в понимании 4D объектов, включающий задачи в области вопросно-ответных систем (4D object QA) и генерации описаний для 4D объектов (4D object captioning). 4D-Bench предоставляет 4D объекты с разнообразными категориями, высококачественными аннотациями и задачами, требующими многомерного пространственно-временного понимания, что отличает его от существующих бенчмарков, основанных на 2D изображениях и видео. С помощью 4D-Bench мы оцениваем широкий спектр открытых и закрытых MLLMs. Результаты эксперимента по генерации описаний для 4D объектов показывают, что MLLMs в целом демонстрируют более слабое понимание временных аспектов по сравнению с пониманием внешнего вида. В частности, хотя открытые модели приближаются к производительности закрытых моделей в понимании внешнего вида, они показывают более значительные разрывы в понимании временных аспектов. Вопросно-ответные задачи для 4D объектов дают удивительные результаты: даже с простыми видео, содержащими один объект, MLLMs показывают низкую производительность, при этом GPT-4o, являющаяся передовой моделью, достигает точности всего 63\% по сравнению с человеческим базовым уровнем в 91\%. Эти результаты подчеркивают существенный разрыв в понимании 4D объектов и необходимость дальнейшего развития MLLMs.

English

Multimodal Large Language Models (MLLMs) have demonstrated impressive 2D image/video understanding capabilities. However, there are no publicly standardized benchmarks to assess the abilities of MLLMs in understanding the 4D objects (3D objects with temporal evolution over time). In this paper, we introduce 4D-Bench, the first benchmark to evaluate the capabilities of MLLMs in 4D object understanding, featuring tasks in 4D object Question Answering (4D object QA) and 4D object captioning. 4D-Bench provides 4D objects with diverse categories, high-quality annotations, and tasks necessitating multi-view spatial-temporal understanding, different from existing 2D image/video-based benchmarks. With 4D-Bench, we evaluate a wide range of open-source and closed-source MLLMs. The results from the 4D object captioning experiment indicate that MLLMs generally exhibit weaker temporal understanding compared to their appearance understanding, notably, while open-source models approach closed-source performance in appearance understanding, they show larger performance gaps in temporal understanding. 4D object QA yields surprising findings: even with simple single-object videos, MLLMs perform poorly, with state-of-the-art GPT-4o achieving only 63\% accuracy compared to the human baseline of 91\%. These findings highlight a substantial gap in 4D object understanding and the need for further advancements in MLLMs.