Kunnen OOD Object Detectoren Leren van Stichtingsmodellen?

Can OOD Object Detectors Learn from Foundation Models?

September 8, 2024

Auteurs: Jiahui Liu, Xin Wen, Shizhen Zhao, Yingxian Chen, Xiaojuan Qi

cs.AI

Samenvatting

Het detecteren van objecten buiten de distributie (OOD) is een uitdagende taak vanwege het ontbreken van open-set OOD-gegevens. Geïnspireerd door recente ontwikkelingen in tekst-naar-afbeelding generatieve modellen, zoals Stable Diffusion, bestuderen we het potentieel van generatieve modellen die zijn getraind op grootschalige open-set gegevens om OOD-monsters te synthetiseren, waardoor de detectie van OOD-objecten wordt verbeterd. We introduceren SyncOOD, een eenvoudige methode voor gegevenscuratie die profiteert van de mogelijkheden van grote foundation-modellen om automatisch betekenisvolle OOD-gegevens te extraheren uit tekst-naar-afbeelding generatieve modellen. Dit biedt het model toegang tot open-world kennis die is ingekapseld in kant-en-klare foundation-modellen. De synthetische OOD-monsters worden vervolgens gebruikt om de training van een lichtgewicht, plug-and-play OOD-detector aan te vullen, waardoor de in-distributie (ID)/OOD-beslissingsgrenzen effectief worden geoptimaliseerd. Uitgebreide experimenten over meerdere benchmarks tonen aan dat SyncOOD aanzienlijk beter presteert dan bestaande methoden, waarbij een nieuwe state-of-the-art prestatie wordt vastgesteld met minimaal gebruik van synthetische gegevens.

English

Out-of-distribution (OOD) object detection is a challenging task due to the absence of open-set OOD data. Inspired by recent advancements in text-to-image generative models, such as Stable Diffusion, we study the potential of generative models trained on large-scale open-set data to synthesize OOD samples, thereby enhancing OOD object detection. We introduce SyncOOD, a simple data curation method that capitalizes on the capabilities of large foundation models to automatically extract meaningful OOD data from text-to-image generative models. This offers the model access to open-world knowledge encapsulated within off-the-shelf foundation models. The synthetic OOD samples are then employed to augment the training of a lightweight, plug-and-play OOD detector, thus effectively optimizing the in-distribution (ID)/OOD decision boundaries. Extensive experiments across multiple benchmarks demonstrate that SyncOOD significantly outperforms existing methods, establishing new state-of-the-art performance with minimal synthetic data usage.