M3DBench : Instruire les grands modèles avec des prompts multi-modaux en 3D

Résumé

Récemment, la compréhension 3D est devenue populaire pour faciliter la prise de décision autonome par des agents. Cependant, les ensembles de données et méthodes 3D existants sont souvent limités à des tâches spécifiques. D’un autre côté, les progrès récents dans les modèles de langage de grande taille (LLMs) et les modèles de langage multimodaux (MLMs) ont démontré des performances exceptionnelles dans des tâches générales de langage et d’imagerie. Il est donc intéressant d’exploiter le potentiel des MLMs pour en faire des généralistes 3D capables de traiter un éventail plus large de tâches. Cependant, les recherches actuelles sur les MLMs se sont moins concentrées sur les tâches 3D en raison d’un manque de jeux de données à grande échelle pour l’exécution d’instructions en 3D. Dans ce travail, nous introduisons un ensemble de données complet pour l’exécution d’instructions en 3D, appelé M3DBench, qui possède les caractéristiques suivantes : 1) Il prend en charge des instructions multimodales générales combinant texte, images, objets 3D et autres invites visuelles. 2) Il unifie diverses tâches 3D aux niveaux régional et scénique, couvrant une variété de compétences fondamentales dans des environnements 3D réels. 3) Il s’agit d’un jeu de données à grande échelle pour l’exécution d’instructions en 3D, comprenant plus de 320 000 paires instruction-réponse. De plus, nous établissons un nouveau benchmark pour évaluer la performance des grands modèles dans la compréhension d’invites multimodales en 3D. Des expériences approfondies démontrent l’efficacité de notre jeu de données et de notre base de référence, soutenant des tâches générales centrées sur la 3D, ce qui peut inspirer des recherches futures.

English

Recently, 3D understanding has become popular to facilitate autonomous agents to perform further decisionmaking. However, existing 3D datasets and methods are often limited to specific tasks. On the other hand, recent progress in Large Language Models (LLMs) and Multimodal Language Models (MLMs) have demonstrated exceptional general language and imagery tasking performance. Therefore, it is interesting to unlock MLM's potential to be 3D generalist for wider tasks. However, current MLMs' research has been less focused on 3D tasks due to a lack of large-scale 3D instruction-following datasets. In this work, we introduce a comprehensive 3D instructionfollowing dataset called M3DBench, which possesses the following characteristics: 1) It supports general multimodal instructions interleaved with text, images, 3D objects, and other visual prompts. 2) It unifies diverse 3D tasks at both region and scene levels, covering a variety of fundamental abilities in real-world 3D environments. 3) It is a large-scale 3D instruction-following dataset with over 320k instruction-response pairs. Furthermore, we establish a new benchmark for assessing the performance of large models in understanding multi-modal 3D prompts. Extensive experiments demonstrate the effectiveness of our dataset and baseline, supporting general 3D-centric tasks, which can inspire future research.

M3DBench : Instruire les grands modèles avec des prompts multi-modaux en 3D

M3DBench: Let's Instruct Large Models with Multi-modal 3D Prompts

Résumé

Support