Os Detectores de Objetos OOD Podem Aprender a partir de Modelos Fundamentais?

Can OOD Object Detectors Learn from Foundation Models?

September 8, 2024

Autores: Jiahui Liu, Xin Wen, Shizhen Zhao, Yingxian Chen, Xiaojuan Qi

cs.AI

Resumo

A detecção de objetos fora da distribuição (Out-of-distribution - OOD) é uma tarefa desafiadora devido à ausência de dados OOD de conjunto aberto. Inspirados nos avanços recentes em modelos generativos de texto para imagem, como a Difusão Estável, estudamos o potencial de modelos generativos treinados em dados de conjunto aberto em larga escala para sintetizar amostras OOD, aprimorando assim a detecção de objetos OOD. Apresentamos o SyncOOD, um método simples de curadoria de dados que aproveita as capacidades de grandes modelos fundamentais para extrair automaticamente dados OOD significativos de modelos generativos de texto para imagem. Isso oferece ao modelo acesso ao conhecimento de mundo aberto encapsulado nos modelos fundamentais prontos para uso. As amostras sintéticas OOD são então utilizadas para aumentar o treinamento de um detector OOD leve e pronto para uso, otimizando efetivamente os limites de decisão entre em distribuição (ID) e OOD. Experimentos extensos em diversos benchmarks demonstram que o SyncOOD supera significativamente os métodos existentes, estabelecendo um novo desempenho de ponta com uso mínimo de dados sintéticos.

English

Out-of-distribution (OOD) object detection is a challenging task due to the absence of open-set OOD data. Inspired by recent advancements in text-to-image generative models, such as Stable Diffusion, we study the potential of generative models trained on large-scale open-set data to synthesize OOD samples, thereby enhancing OOD object detection. We introduce SyncOOD, a simple data curation method that capitalizes on the capabilities of large foundation models to automatically extract meaningful OOD data from text-to-image generative models. This offers the model access to open-world knowledge encapsulated within off-the-shelf foundation models. The synthetic OOD samples are then employed to augment the training of a lightweight, plug-and-play OOD detector, thus effectively optimizing the in-distribution (ID)/OOD decision boundaries. Extensive experiments across multiple benchmarks demonstrate that SyncOOD significantly outperforms existing methods, establishing new state-of-the-art performance with minimal synthetic data usage.