Могут ли детекторы объектов OOD учиться на основе моделей основы?
Can OOD Object Detectors Learn from Foundation Models?
September 8, 2024
Авторы: Jiahui Liu, Xin Wen, Shizhen Zhao, Yingxian Chen, Xiaojuan Qi
cs.AI
Аннотация
Обнаружение объектов вне диапазона (Out-of-distribution, OOD) является сложной задачей из-за отсутствия открытых данных OOD с открытым набором. Вдохновленные последними достижениями в генеративных моделях текста-изображения, таких как Stable Diffusion, мы изучаем потенциал генеративных моделей, обученных на масштабных открытых данных с открытым набором, для синтеза образцов OOD с целью улучшения обнаружения объектов OOD. Мы представляем SyncOOD, простой метод курирования данных, который использует возможности крупных фундаментальных моделей для автоматического извлечения содержательных данных OOD из генеративных моделей текста-изображения. Это предоставляет модели доступ к знаниям открытого мира, заключенным в готовых фундаментальных моделях. Синтетические образцы OOD затем используются для дополнения обучения легкого, подключаемого детектора OOD, что эффективно оптимизирует границы принятия решений внутри диапазона (ID)/OOD. Обширные эксперименты на нескольких бенчмарках показывают, что SyncOOD значительно превосходит существующие методы, устанавливая новое современное качество работы с минимальным использованием синтетических данных.
English
Out-of-distribution (OOD) object detection is a challenging task due to the
absence of open-set OOD data. Inspired by recent advancements in text-to-image
generative models, such as Stable Diffusion, we study the potential of
generative models trained on large-scale open-set data to synthesize OOD
samples, thereby enhancing OOD object detection. We introduce SyncOOD, a simple
data curation method that capitalizes on the capabilities of large foundation
models to automatically extract meaningful OOD data from text-to-image
generative models. This offers the model access to open-world knowledge
encapsulated within off-the-shelf foundation models. The synthetic OOD samples
are then employed to augment the training of a lightweight, plug-and-play OOD
detector, thus effectively optimizing the in-distribution (ID)/OOD decision
boundaries. Extensive experiments across multiple benchmarks demonstrate that
SyncOOD significantly outperforms existing methods, establishing new
state-of-the-art performance with minimal synthetic data usage.