4D-Bench: Benchmarking van Multi-modale Grote Taalmodellen voor 4D Objectbegrip

4D-Bench: Benchmarking Multi-modal Large Language Models for 4D Object Understanding

March 22, 2025

Auteurs: Wenxuan Zhu, Bing Li, Cheng Zheng, Jinjie Mai, Jun Chen, Letian Jiang, Abdullah Hamdi, Sara Rojas Martinez, Chia-Wen Lin, Mohamed Elhoseiny, Bernard Ghanem

cs.AI

Samenvatting

Multimodale Large Language Models (MLLMs) hebben indrukwekkende mogelijkheden getoond voor het begrijpen van 2D-beelden/video's. Er zijn echter geen gestandaardiseerde benchmarks beschikbaar om de vaardigheden van MLLMs te beoordelen in het begrijpen van 4D-objecten (3D-objecten met temporele evolutie over tijd). In dit artikel introduceren we 4D-Bench, de eerste benchmark om de capaciteiten van MLLMs in 4D-objectbegrip te evalueren, met taken in 4D-object Vraag & Antwoord (4D-object QA) en 4D-objectbeschrijving. 4D-Bench biedt 4D-objecten met diverse categorieën, hoogwaardige annotaties en taken die een multiview ruimtelijk-temporeel begrip vereisen, wat verschilt van bestaande 2D-beeld/video-gebaseerde benchmarks. Met 4D-Bench evalueren we een breed scala aan open-source en closed-source MLLMs. De resultaten van het 4D-objectbeschrijvingsexperiment geven aan dat MLLMs over het algemeen een zwakker temporeel begrip vertonen in vergelijking met hun uiterlijkbegrip, waarbij open-source modellen de prestaties van closed-source modellen benaderen in uiterlijkbegrip, maar grotere prestatiekloof laten zien in temporeel begrip. 4D-object QA levert verrassende bevindingen op: zelfs met eenvoudige single-object video's presteren MLLMs slecht, waarbij state-of-the-art GPT-4o slechts 63\% nauwkeurigheid behaalt in vergelijking met de menselijke baseline van 91\%. Deze bevindingen benadrukken een aanzienlijke kloof in 4D-objectbegrip en de noodzaak voor verdere vooruitgang in MLLMs.

English

Multimodal Large Language Models (MLLMs) have demonstrated impressive 2D image/video understanding capabilities. However, there are no publicly standardized benchmarks to assess the abilities of MLLMs in understanding the 4D objects (3D objects with temporal evolution over time). In this paper, we introduce 4D-Bench, the first benchmark to evaluate the capabilities of MLLMs in 4D object understanding, featuring tasks in 4D object Question Answering (4D object QA) and 4D object captioning. 4D-Bench provides 4D objects with diverse categories, high-quality annotations, and tasks necessitating multi-view spatial-temporal understanding, different from existing 2D image/video-based benchmarks. With 4D-Bench, we evaluate a wide range of open-source and closed-source MLLMs. The results from the 4D object captioning experiment indicate that MLLMs generally exhibit weaker temporal understanding compared to their appearance understanding, notably, while open-source models approach closed-source performance in appearance understanding, they show larger performance gaps in temporal understanding. 4D object QA yields surprising findings: even with simple single-object videos, MLLMs perform poorly, with state-of-the-art GPT-4o achieving only 63\% accuracy compared to the human baseline of 91\%. These findings highlight a substantial gap in 4D object understanding and the need for further advancements in MLLMs.