Обзор методов 3D-детекции объектов с использованием моделей "визуальный язык"

A Review of 3D Object Detection with Vision-Language Models

April 25, 2025

Авторы: Ranjan Sapkota, Konstantinos I Roumeliotis, Rahul Harsha Cheppally, Marco Flores Calero, Manoj Karkee

cs.AI

Аннотация

Данный обзор представляет собой систематический анализ всестороннего исследования задач 3D-детекции объектов с использованием моделей, объединяющих зрение и язык (Vision-Language Models, VLMs), — быстро развивающейся области на стыке 3D-компьютерного зрения и мультимодального искусственного интеллекта. Изучив более 100 научных статей, мы предлагаем первый систематический анализ, посвящённый 3D-детекции объектов с применением моделей, объединяющих зрение и язык. Мы начинаем с описания уникальных задач, связанных с 3D-детекцией объектов в рамках таких моделей, подчеркивая различия с 2D-детекцией в аспектах пространственного мышления и сложности данных. Традиционные подходы, использующие облака точек и воксельные сетки, сравниваются с современными фреймворками, такими как CLIP и 3D LLMs, которые обеспечивают открытую словарную детекцию и обобщение в условиях нулевого обучения. Мы рассматриваем ключевые архитектуры, стратегии предварительного обучения и методы инженерии промптов, которые согласуют текстовые и 3D-признаки для эффективной 3D-детекции объектов с использованием моделей, объединяющих зрение и язык. Примеры визуализации и оценочные бенчмарки обсуждаются для иллюстрации производительности и поведения моделей. В заключение мы выделяем текущие проблемы, такие как ограниченность наборов данных, сочетающих 3D и язык, и высокие вычислительные требования, а также предлагаем направления для будущих исследований, направленных на развитие 3D-детекции объектов с использованием моделей, объединяющих зрение и язык. >Детекция объектов, Модели, объединяющие зрение и язык, Агенты, VLMs, LLMs, ИИ

English

This review provides a systematic analysis of comprehensive survey of 3D object detection with vision-language models(VLMs) , a rapidly advancing area at the intersection of 3D vision and multimodal AI. By examining over 100 research papers, we provide the first systematic analysis dedicated to 3D object detection with vision-language models. We begin by outlining the unique challenges of 3D object detection with vision-language models, emphasizing differences from 2D detection in spatial reasoning and data complexity. Traditional approaches using point clouds and voxel grids are compared to modern vision-language frameworks like CLIP and 3D LLMs, which enable open-vocabulary detection and zero-shot generalization. We review key architectures, pretraining strategies, and prompt engineering methods that align textual and 3D features for effective 3D object detection with vision-language models. Visualization examples and evaluation benchmarks are discussed to illustrate performance and behavior. Finally, we highlight current challenges, such as limited 3D-language datasets and computational demands, and propose future research directions to advance 3D object detection with vision-language models. >Object Detection, Vision-Language Models, Agents, VLMs, LLMs, AI