Uma Revisão sobre Detecção de Objetos 3D com Modelos de Visão e Linguagem

Resumo

Esta revisão fornece uma análise sistemática de um levantamento abrangente sobre detecção de objetos 3D com modelos visão-linguagem (VLMs), uma área em rápido avanço na interseção entre visão 3D e IA multimodal. Ao examinar mais de 100 artigos de pesquisa, apresentamos a primeira análise sistemática dedicada à detecção de objetos 3D com modelos visão-linguagem. Começamos delineando os desafios únicos da detecção de objetos 3D com esses modelos, enfatizando as diferenças em relação à detecção 2D no raciocínio espacial e na complexidade dos dados. Abordagens tradicionais que utilizam nuvens de pontos e grades voxel são comparadas a frameworks modernos de visão-linguagem, como CLIP e LLMs 3D, que permitem detecção de vocabulário aberto e generalização zero-shot. Revisamos arquiteturas-chave, estratégias de pré-treinamento e métodos de engenharia de prompts que alinham características textuais e 3D para uma detecção eficaz de objetos 3D com modelos visão-linguagem. Exemplos de visualização e benchmarks de avaliação são discutidos para ilustrar o desempenho e o comportamento. Por fim, destacamos desafios atuais, como conjuntos de dados limitados de linguagem 3D e demandas computacionais, e propomos direções futuras de pesquisa para avançar a detecção de objetos 3D com modelos visão-linguagem. >Detecção de Objetos, Modelos Visão-Linguagem, Agentes, VLMs, LLMs, IA

English

This review provides a systematic analysis of comprehensive survey of 3D object detection with vision-language models(VLMs) , a rapidly advancing area at the intersection of 3D vision and multimodal AI. By examining over 100 research papers, we provide the first systematic analysis dedicated to 3D object detection with vision-language models. We begin by outlining the unique challenges of 3D object detection with vision-language models, emphasizing differences from 2D detection in spatial reasoning and data complexity. Traditional approaches using point clouds and voxel grids are compared to modern vision-language frameworks like CLIP and 3D LLMs, which enable open-vocabulary detection and zero-shot generalization. We review key architectures, pretraining strategies, and prompt engineering methods that align textual and 3D features for effective 3D object detection with vision-language models. Visualization examples and evaluation benchmarks are discussed to illustrate performance and behavior. Finally, we highlight current challenges, such as limited 3D-language datasets and computational demands, and propose future research directions to advance 3D object detection with vision-language models. >Object Detection, Vision-Language Models, Agents, VLMs, LLMs, AI

Uma Revisão sobre Detecção de Objetos 3D com Modelos de Visão e Linguagem

A Review of 3D Object Detection with Vision-Language Models

Resumo

Support