視覚言語モデルを用いた3D物体検出のレビュー

A Review of 3D Object Detection with Vision-Language Models

April 25, 2025

著者: Ranjan Sapkota, Konstantinos I Roumeliotis, Rahul Harsha Cheppally, Marco Flores Calero, Manoj Karkee

cs.AI

要旨

本レビューは、3DビジョンとマルチモーダルAIの交差点において急速に進展している分野である、ビジョン言語モデル（VLMs）を用いた3D物体検出に関する包括的な調査を体系的に分析する。100以上の研究論文を検討し、ビジョン言語モデルを用いた3D物体検出に特化した初の体系的分析を提供する。まず、ビジョン言語モデルを用いた3D物体検出の独自の課題を概説し、空間推論やデータの複雑さにおいて2D検出との違いを強調する。点群やボクセルグリッドを用いた伝統的なアプローチと、CLIPや3D LLMsのような現代のビジョン言語フレームワークを比較し、これらがオープン語彙検出やゼロショット一般化を可能にすることを示す。テキストと3D特徴を効果的に整合させるための主要なアーキテクチャ、事前学習戦略、プロンプトエンジニアリング手法をレビューする。性能と挙動を説明するために、可視化例と評価ベンチマークについて議論する。最後に、限られた3D言語データセットや計算需要といった現在の課題を指摘し、ビジョン言語モデルを用いた3D物体検出を進展させるための将来の研究方向性を提案する。>物体検出、ビジョン言語モデル、エージェント、VLMs、LLMs、AI

English

This review provides a systematic analysis of comprehensive survey of 3D object detection with vision-language models(VLMs) , a rapidly advancing area at the intersection of 3D vision and multimodal AI. By examining over 100 research papers, we provide the first systematic analysis dedicated to 3D object detection with vision-language models. We begin by outlining the unique challenges of 3D object detection with vision-language models, emphasizing differences from 2D detection in spatial reasoning and data complexity. Traditional approaches using point clouds and voxel grids are compared to modern vision-language frameworks like CLIP and 3D LLMs, which enable open-vocabulary detection and zero-shot generalization. We review key architectures, pretraining strategies, and prompt engineering methods that align textual and 3D features for effective 3D object detection with vision-language models. Visualization examples and evaluation benchmarks are discussed to illustrate performance and behavior. Finally, we highlight current challenges, such as limited 3D-language datasets and computational demands, and propose future research directions to advance 3D object detection with vision-language models. >Object Detection, Vision-Language Models, Agents, VLMs, LLMs, AI