¿Pueden los detectores de objetos OOD aprender de modelos base?

Can OOD Object Detectors Learn from Foundation Models?

September 8, 2024

Autores: Jiahui Liu, Xin Wen, Shizhen Zhao, Yingxian Chen, Xiaojuan Qi

cs.AI

Resumen

La detección de objetos fuera de distribución (OOD, por sus siglas en inglés) es una tarea desafiante debido a la ausencia de datos OOD de conjunto abierto. Inspirados por los avances recientes en modelos generativos de texto a imagen, como Difusión Estable, estudiamos el potencial de los modelos generativos entrenados en datos de conjunto abierto a gran escala para sintetizar muestras OOD, mejorando así la detección de objetos OOD. Presentamos SyncOOD, un método simple de curación de datos que aprovecha las capacidades de los modelos base a gran escala para extraer automáticamente datos OOD significativos de los modelos generativos de texto a imagen. Esto brinda al modelo acceso al conocimiento de mundo abierto encapsulado dentro de los modelos base listos para usar. Las muestras OOD sintéticas se utilizan luego para aumentar el entrenamiento de un detector OOD ligero y fácil de usar, optimizando de manera efectiva los límites de decisión en distribución (ID)/OOD. Experimentos extensos en múltiples benchmarks demuestran que SyncOOD supera significativamente a los métodos existentes, estableciendo un nuevo rendimiento de vanguardia con un uso mínimo de datos sintéticos.

English

Out-of-distribution (OOD) object detection is a challenging task due to the absence of open-set OOD data. Inspired by recent advancements in text-to-image generative models, such as Stable Diffusion, we study the potential of generative models trained on large-scale open-set data to synthesize OOD samples, thereby enhancing OOD object detection. We introduce SyncOOD, a simple data curation method that capitalizes on the capabilities of large foundation models to automatically extract meaningful OOD data from text-to-image generative models. This offers the model access to open-world knowledge encapsulated within off-the-shelf foundation models. The synthetic OOD samples are then employed to augment the training of a lightweight, plug-and-play OOD detector, thus effectively optimizing the in-distribution (ID)/OOD decision boundaries. Extensive experiments across multiple benchmarks demonstrate that SyncOOD significantly outperforms existing methods, establishing new state-of-the-art performance with minimal synthetic data usage.