Können OOD-Objektdetektoren von Grundlagenmodellen lernen?

Can OOD Object Detectors Learn from Foundation Models?

September 8, 2024

Autoren: Jiahui Liu, Xin Wen, Shizhen Zhao, Yingxian Chen, Xiaojuan Qi

cs.AI

Zusammenfassung

Die Detektion von Objekten außerhalb der Verteilung (Out-of-Distribution, OOD) ist aufgrund des Mangels an Open-Set OOD-Daten eine anspruchsvolle Aufgabe. Inspiriert von den jüngsten Fortschritten bei textbasierten Bildgenerierungsmodellen, wie z.B. der Stable Diffusion, untersuchen wir das Potenzial von generativen Modellen, die auf groß angelegten Open-Set-Daten trainiert sind, um OOD-Stichproben zu synthetisieren und somit die Detektion von OOD-Objekten zu verbessern. Wir stellen SyncOOD vor, eine einfache Datenaufbereitungsmethode, die die Fähigkeiten großer Grundlagenmodelle nutzt, um automatisch sinnvolle OOD-Daten aus textbasierten Bildgenerierungsmodellen zu extrahieren. Dies bietet dem Modell Zugang zu offenem Weltwissen, das in Standardmodellen eingebettet ist. Die synthetischen OOD-Stichproben werden dann verwendet, um das Training eines leichten, Plug-and-Play OOD-Detektors zu erweitern und somit die Entscheidungsgrenzen zwischen In-Distribution (ID) und OOD effektiv zu optimieren. Umfangreiche Experimente über mehrere Benchmarks hinweg zeigen, dass SyncOOD signifikant besser abschneidet als bestehende Methoden und mit minimalem Einsatz synthetischer Daten eine neue State-of-the-Art-Leistung etabliert.

English

Out-of-distribution (OOD) object detection is a challenging task due to the absence of open-set OOD data. Inspired by recent advancements in text-to-image generative models, such as Stable Diffusion, we study the potential of generative models trained on large-scale open-set data to synthesize OOD samples, thereby enhancing OOD object detection. We introduce SyncOOD, a simple data curation method that capitalizes on the capabilities of large foundation models to automatically extract meaningful OOD data from text-to-image generative models. This offers the model access to open-world knowledge encapsulated within off-the-shelf foundation models. The synthetic OOD samples are then employed to augment the training of a lightweight, plug-and-play OOD detector, thus effectively optimizing the in-distribution (ID)/OOD decision boundaries. Extensive experiments across multiple benchmarks demonstrate that SyncOOD significantly outperforms existing methods, establishing new state-of-the-art performance with minimal synthetic data usage.