Les détecteurs d'objets OOD peuvent-ils apprendre à partir de modèles de base ?

Can OOD Object Detectors Learn from Foundation Models?

September 8, 2024

Auteurs: Jiahui Liu, Xin Wen, Shizhen Zhao, Yingxian Chen, Xiaojuan Qi

cs.AI

Résumé

La détection d'objets hors distribution (OOD) est une tâche complexe en raison de l'absence de données OOD en open-set. Inspirés par les récents progrès dans les modèles génératifs texte-image, tels que Stable Diffusion, nous étudions le potentiel des modèles génératifs entraînés sur des données open-set à grande échelle pour synthétiser des échantillons OOD, améliorant ainsi la détection d'objets OOD. Nous présentons SyncOOD, une méthode simple de curation des données qui tire parti des capacités des grands modèles de base pour extraire automatiquement des données OOD significatives des modèles génératifs texte-image. Cela offre au modèle l'accès aux connaissances du monde ouvert encapsulées dans les modèles de base prêts à l'emploi. Les échantillons OOD synthétiques sont ensuite utilisés pour augmenter l'entraînement d'un détecteur OOD léger et plug-and-play, optimisant ainsi efficacement les frontières de décision ID/OOD. Des expériences approfondies sur plusieurs référentiels démontrent que SyncOOD surpasse significativement les méthodes existantes, établissant de nouvelles performances de pointe avec une utilisation minimale de données synthétiques.

English

Out-of-distribution (OOD) object detection is a challenging task due to the absence of open-set OOD data. Inspired by recent advancements in text-to-image generative models, such as Stable Diffusion, we study the potential of generative models trained on large-scale open-set data to synthesize OOD samples, thereby enhancing OOD object detection. We introduce SyncOOD, a simple data curation method that capitalizes on the capabilities of large foundation models to automatically extract meaningful OOD data from text-to-image generative models. This offers the model access to open-world knowledge encapsulated within off-the-shelf foundation models. The synthetic OOD samples are then employed to augment the training of a lightweight, plug-and-play OOD detector, thus effectively optimizing the in-distribution (ID)/OOD decision boundaries. Extensive experiments across multiple benchmarks demonstrate that SyncOOD significantly outperforms existing methods, establishing new state-of-the-art performance with minimal synthetic data usage.