Een Overzicht van 3D Objectdetectie met Vision-Taalmodellen

A Review of 3D Object Detection with Vision-Language Models

April 25, 2025

Auteurs: Ranjan Sapkota, Konstantinos I Roumeliotis, Rahul Harsha Cheppally, Marco Flores Calero, Manoj Karkee

cs.AI

Samenvatting

Dit overzicht biedt een systematische analyse van een uitgebreide studie naar 3D-objectdetectie met visie-taalmodelen (VLMs), een snel voortschrijdend onderzoeksgebied op het snijvlak van 3D-visie en multimodale AI. Door meer dan 100 onderzoeksartikelen te bestuderen, bieden we de eerste systematische analyse die specifiek gewijd is aan 3D-objectdetectie met visie-taalmodelen. We beginnen met het schetsen van de unieke uitdagingen van 3D-objectdetectie met visie-taalmodelen, waarbij we de verschillen met 2D-detectie benadrukken in ruimtelijk redeneren en datacomplexiteit. Traditionele benaderingen die gebruikmaken van puntenwolken en voxelroosters worden vergeleken met moderne visie-taalraamwerken zoals CLIP en 3D LLMs, die open-vocabulairdetectie en zero-shot generalisatie mogelijk maken. We bespreken belangrijke architecturen, voorafgaande trainingsstrategieën en prompt engineering-methoden die tekstuele en 3D-kenmerken uitlijnen voor effectieve 3D-objectdetectie met visie-taalmodelen. Visualisatievoorbeelden en evaluatiebenchmarks worden besproken om prestaties en gedrag te illustreren. Tot slot belichten we huidige uitdagingen, zoals beperkte 3D-taal datasets en rekenkundige eisen, en stellen we toekomstige onderzoeksrichtingen voor om 3D-objectdetectie met visie-taalmodelen verder te ontwikkelen. >Objectdetectie, Visie-Taalmodelen, Agents, VLMs, LLMs, AI

English

This review provides a systematic analysis of comprehensive survey of 3D object detection with vision-language models(VLMs) , a rapidly advancing area at the intersection of 3D vision and multimodal AI. By examining over 100 research papers, we provide the first systematic analysis dedicated to 3D object detection with vision-language models. We begin by outlining the unique challenges of 3D object detection with vision-language models, emphasizing differences from 2D detection in spatial reasoning and data complexity. Traditional approaches using point clouds and voxel grids are compared to modern vision-language frameworks like CLIP and 3D LLMs, which enable open-vocabulary detection and zero-shot generalization. We review key architectures, pretraining strategies, and prompt engineering methods that align textual and 3D features for effective 3D object detection with vision-language models. Visualization examples and evaluation benchmarks are discussed to illustrate performance and behavior. Finally, we highlight current challenges, such as limited 3D-language datasets and computational demands, and propose future research directions to advance 3D object detection with vision-language models. >Object Detection, Vision-Language Models, Agents, VLMs, LLMs, AI