Eine Übersicht zur 3D-Objekterkennung mit Vision-Sprache-Modellen

A Review of 3D Object Detection with Vision-Language Models

April 25, 2025

Autoren: Ranjan Sapkota, Konstantinos I Roumeliotis, Rahul Harsha Cheppally, Marco Flores Calero, Manoj Karkee

cs.AI

Zusammenfassung

Diese Übersicht bietet eine systematische Analyse umfassender Untersuchungen zur 3D-Objekterkennung mit Vision-Sprache-Modellen (VLMs), einem sich schnell entwickelnden Bereich an der Schnittstelle von 3D-Vision und multimodaler KI. Durch die Untersuchung von über 100 Forschungsarbeiten liefern wir die erste systematische Analyse, die sich speziell der 3D-Objekterkennung mit Vision-Sprache-Modellen widmet. Wir beginnen mit der Darstellung der einzigartigen Herausforderungen der 3D-Objekterkennung mit Vision-Sprache-Modellen und betonen die Unterschiede zur 2D-Erkennung in Bezug auf räumliches Denken und Datenkomplexität. Traditionelle Ansätze, die Punktwolken und Voxelgitter verwenden, werden mit modernen Vision-Sprache-Frameworks wie CLIP und 3D-LLMs verglichen, die offene Vokabularerkennung und Zero-Shot-Generalisierung ermöglichen. Wir untersuchen Schlüsselarchitekturen, Pre-Training-Strategien und Prompt-Engineering-Methoden, die textuelle und 3D-Features für eine effektive 3D-Objekterkennung mit Vision-Sprache-Modellen ausrichten. Visualisierungsbeispiele und Evaluierungsbenchmarks werden diskutiert, um die Leistung und das Verhalten zu veranschaulichen. Schließlich beleuchten wir aktuelle Herausforderungen wie begrenzte 3D-Sprache-Datensätze und rechenintensive Anforderungen und schlagen zukünftige Forschungsrichtungen vor, um die 3D-Objekterkennung mit Vision-Sprache-Modellen voranzutreiben. >Objekterkennung, Vision-Sprache-Modelle, Agenten, VLMs, LLMs, KI

English

This review provides a systematic analysis of comprehensive survey of 3D object detection with vision-language models(VLMs) , a rapidly advancing area at the intersection of 3D vision and multimodal AI. By examining over 100 research papers, we provide the first systematic analysis dedicated to 3D object detection with vision-language models. We begin by outlining the unique challenges of 3D object detection with vision-language models, emphasizing differences from 2D detection in spatial reasoning and data complexity. Traditional approaches using point clouds and voxel grids are compared to modern vision-language frameworks like CLIP and 3D LLMs, which enable open-vocabulary detection and zero-shot generalization. We review key architectures, pretraining strategies, and prompt engineering methods that align textual and 3D features for effective 3D object detection with vision-language models. Visualization examples and evaluation benchmarks are discussed to illustrate performance and behavior. Finally, we highlight current challenges, such as limited 3D-language datasets and computational demands, and propose future research directions to advance 3D object detection with vision-language models. >Object Detection, Vision-Language Models, Agents, VLMs, LLMs, AI