M3DBench: Laten we grote modellen instrueren met multi-modale 3D-prompten

Samenvatting

Onlangs is 3D-begrip populair geworden om autonome agents te faciliteren bij het nemen van verdere beslissingen. Bestaande 3D-datasets en -methoden zijn echter vaak beperkt tot specifieke taken. Aan de andere kant hebben recente vooruitgang in Large Language Models (LLMs) en Multimodal Language Models (MLMs) uitzonderlijke prestaties getoond op het gebied van algemene taal- en beeldtaken. Daarom is het interessant om het potentieel van MLMs te ontsluiten om als 3D-generalist te fungeren voor een breder scala aan taken. Het huidige onderzoek naar MLMs is echter minder gericht op 3D-taken vanwege een gebrek aan grootschalige 3D-instructievolgende datasets. In dit werk introduceren we een uitgebreide 3D-instructievolgende dataset genaamd M3DBench, die de volgende kenmerken heeft: 1) Het ondersteunt algemene multimodale instructies die afgewisseld worden met tekst, afbeeldingen, 3D-objecten en andere visuele prompts. 2) Het verenigt diverse 3D-taken op zowel regionaal als sceneniveau, waarbij een verscheidenheid aan fundamentele vaardigheden in realistische 3D-omgevingen wordt behandeld. 3) Het is een grootschalige 3D-instructievolgende dataset met meer dan 320k instructie-responsparen. Bovendien stellen we een nieuwe benchmark op om de prestaties van grote modellen te beoordelen bij het begrijpen van multimodale 3D-prompts. Uitgebreide experimenten tonen de effectiviteit van onze dataset en baseline aan, die algemene 3D-gerichte taken ondersteunen, wat toekomstig onderzoek kan inspireren.

English

Recently, 3D understanding has become popular to facilitate autonomous agents to perform further decisionmaking. However, existing 3D datasets and methods are often limited to specific tasks. On the other hand, recent progress in Large Language Models (LLMs) and Multimodal Language Models (MLMs) have demonstrated exceptional general language and imagery tasking performance. Therefore, it is interesting to unlock MLM's potential to be 3D generalist for wider tasks. However, current MLMs' research has been less focused on 3D tasks due to a lack of large-scale 3D instruction-following datasets. In this work, we introduce a comprehensive 3D instructionfollowing dataset called M3DBench, which possesses the following characteristics: 1) It supports general multimodal instructions interleaved with text, images, 3D objects, and other visual prompts. 2) It unifies diverse 3D tasks at both region and scene levels, covering a variety of fundamental abilities in real-world 3D environments. 3) It is a large-scale 3D instruction-following dataset with over 320k instruction-response pairs. Furthermore, we establish a new benchmark for assessing the performance of large models in understanding multi-modal 3D prompts. Extensive experiments demonstrate the effectiveness of our dataset and baseline, supporting general 3D-centric tasks, which can inspire future research.

M3DBench: Laten we grote modellen instrueren met multi-modale 3D-prompten

M3DBench: Let's Instruct Large Models with Multi-modal 3D Prompts

Samenvatting

Support