Correlação do Desempenho de Detecção de Objetos com Saliência Visual e Estimação de Profundidade

Correlation of Object Detection Performance with Visual Saliency and Depth Estimation

November 5, 2024

Autores: Matthias Bartolo, Dylan Seychell

cs.AI

Resumo

À medida que as técnicas de detecção de objetos continuam a evoluir, compreender suas relações com tarefas visuais complementares torna-se crucial para otimizar arquiteturas de modelos e recursos computacionais. Este artigo investiga as correlações entre a precisão da detecção de objetos e duas tarefas visuais fundamentais: previsão de profundidade e previsão de saliência visual. Através de experimentos abrangentes utilizando modelos de ponta (DeepGaze IIE, Depth Anything, DPT-Large e o modelo de Itti) em conjuntos de dados COCO e Pascal VOC, descobrimos que a saliência visual apresenta correlações consistentemente mais fortes com a precisão da detecção de objetos (mArho de até 0,459 no Pascal VOC) em comparação com a previsão de profundidade (mArho de até 0,283). Nossa análise revela variações significativas nessas correlações entre as categorias de objetos, com objetos maiores apresentando valores de correlação até três vezes mais altos do que objetos menores. Essas descobertas sugerem que a incorporação de características de saliência visual nas arquiteturas de detecção de objetos pode ser mais benéfica do que informações de profundidade, especialmente para categorias específicas de objetos. As variações observadas específicas de categoria também fornecem insights para engenharia de características direcionadas e melhorias no design de conjuntos de dados, potencialmente resultando em sistemas de detecção de objetos mais eficientes e precisos.

English

As object detection techniques continue to evolve, understanding their relationships with complementary visual tasks becomes crucial for optimising model architectures and computational resources. This paper investigates the correlations between object detection accuracy and two fundamental visual tasks: depth prediction and visual saliency prediction. Through comprehensive experiments using state-of-the-art models (DeepGaze IIE, Depth Anything, DPT-Large, and Itti's model) on COCO and Pascal VOC datasets, we find that visual saliency shows consistently stronger correlations with object detection accuracy (mArho up to 0.459 on Pascal VOC) compared to depth prediction (mArho up to 0.283). Our analysis reveals significant variations in these correlations across object categories, with larger objects showing correlation values up to three times higher than smaller objects. These findings suggest incorporating visual saliency features into object detection architectures could be more beneficial than depth information, particularly for specific object categories. The observed category-specific variations also provide insights for targeted feature engineering and dataset design improvements, potentially leading to more efficient and accurate object detection systems.