4D-Bench: Benchmarking multimodaler großer Sprachmodelle für das 4D-Objektverständnis

4D-Bench: Benchmarking Multi-modal Large Language Models for 4D Object Understanding

March 22, 2025

Autoren: Wenxuan Zhu, Bing Li, Cheng Zheng, Jinjie Mai, Jun Chen, Letian Jiang, Abdullah Hamdi, Sara Rojas Martinez, Chia-Wen Lin, Mohamed Elhoseiny, Bernard Ghanem

cs.AI

Zusammenfassung

Multimodale Large Language Models (MLLMs) haben beeindruckende Fähigkeiten im Verständnis von 2D-Bildern und -Videos gezeigt. Es gibt jedoch keine öffentlich standardisierten Benchmarks, um die Fähigkeiten von MLLMs im Verständnis von 4D-Objekten (3D-Objekte mit zeitlicher Entwicklung) zu bewerten. In diesem Artikel stellen wir 4D-Bench vor, den ersten Benchmark zur Bewertung der Fähigkeiten von MLLMs im 4D-Objektverständnis, der Aufgaben in 4D-Objekt-Fragebeantwortung (4D-Objekt-QA) und 4D-Objekt-Beschreibung umfasst. 4D-Bench bietet 4D-Objekte mit diversen Kategorien, hochwertigen Annotationen und Aufgaben, die ein multi-view räumlich-zeitliches Verständnis erfordern, was sich von bestehenden 2D-Bild-/Video-basierten Benchmarks unterscheidet. Mit 4D-Bench evaluieren wir eine breite Palette von Open-Source- und Closed-Source-MLLMs. Die Ergebnisse des 4D-Objekt-Beschreibungsexperiments zeigen, dass MLLMs im Allgemeinen ein schwächeres zeitliches Verständnis im Vergleich zu ihrem Erscheinungsverständnis aufweisen. Bemerkenswerterweise nähern sich Open-Source-Modelle der Leistung von Closed-Source-Modellen im Erscheinungsverständnis, zeigen jedoch größere Leistungslücken im zeitlichen Verständnis. Die 4D-Objekt-QA liefert überraschende Erkenntnisse: Selbst mit einfachen Einzelobjekt-Videos schneiden MLLMs schlecht ab, wobei das state-of-the-art-Modell GPT-4o nur eine Genauigkeit von 63\% im Vergleich zur menschlichen Baseline von 91\% erreicht. Diese Ergebnisse verdeutlichen eine erhebliche Lücke im 4D-Objektverständnis und den Bedarf für weitere Fortschritte bei MLLMs.

English

Multimodal Large Language Models (MLLMs) have demonstrated impressive 2D image/video understanding capabilities. However, there are no publicly standardized benchmarks to assess the abilities of MLLMs in understanding the 4D objects (3D objects with temporal evolution over time). In this paper, we introduce 4D-Bench, the first benchmark to evaluate the capabilities of MLLMs in 4D object understanding, featuring tasks in 4D object Question Answering (4D object QA) and 4D object captioning. 4D-Bench provides 4D objects with diverse categories, high-quality annotations, and tasks necessitating multi-view spatial-temporal understanding, different from existing 2D image/video-based benchmarks. With 4D-Bench, we evaluate a wide range of open-source and closed-source MLLMs. The results from the 4D object captioning experiment indicate that MLLMs generally exhibit weaker temporal understanding compared to their appearance understanding, notably, while open-source models approach closed-source performance in appearance understanding, they show larger performance gaps in temporal understanding. 4D object QA yields surprising findings: even with simple single-object videos, MLLMs perform poorly, with state-of-the-art GPT-4o achieving only 63\% accuracy compared to the human baseline of 91\%. These findings highlight a substantial gap in 4D object understanding and the need for further advancements in MLLMs.