Possono i rilevatori di oggetti OOD imparare dai modelli di base?

Can OOD Object Detectors Learn from Foundation Models?

September 8, 2024

Autori: Jiahui Liu, Xin Wen, Shizhen Zhao, Yingxian Chen, Xiaojuan Qi

cs.AI

Abstract

La rilevazione degli oggetti al di fuori della distribuzione (Out-of-distribution, OOD) è un compito impegnativo a causa dell'assenza di dati OOD open-set. Ispirati ai recenti progressi nei modelli generativi testo-immagine, come Stable Diffusion, studiamo il potenziale dei modelli generativi addestrati su dati open-set su larga scala per sintetizzare campioni OOD, migliorando così la rilevazione degli oggetti OOD. Presentiamo SyncOOD, un semplice metodo di cura dei dati che sfrutta le capacità dei grandi modelli di base per estrarre automaticamente dati OOD significativi dai modelli generativi testo-immagine. Ciò offre al modello accesso alla conoscenza del mondo aperto racchiusa nei modelli di base già pronti. I campioni sintetici OOD vengono quindi impiegati per arricchire l'addestramento di un rilevatore leggero e plug-and-play OOD, ottimizzando efficacemente i confini decisionali tra in-distribuzione (ID) e OOD. Estesi esperimenti su diversi benchmark dimostrano che SyncOOD supera significativamente i metodi esistenti, stabilendo nuove prestazioni di primo piano con un utilizzo minimo di dati sintetici.

English

Out-of-distribution (OOD) object detection is a challenging task due to the absence of open-set OOD data. Inspired by recent advancements in text-to-image generative models, such as Stable Diffusion, we study the potential of generative models trained on large-scale open-set data to synthesize OOD samples, thereby enhancing OOD object detection. We introduce SyncOOD, a simple data curation method that capitalizes on the capabilities of large foundation models to automatically extract meaningful OOD data from text-to-image generative models. This offers the model access to open-world knowledge encapsulated within off-the-shelf foundation models. The synthetic OOD samples are then employed to augment the training of a lightweight, plug-and-play OOD detector, thus effectively optimizing the in-distribution (ID)/OOD decision boundaries. Extensive experiments across multiple benchmarks demonstrate that SyncOOD significantly outperforms existing methods, establishing new state-of-the-art performance with minimal synthetic data usage.