YOLOE: Реальное время для видения всего

YOLOE: Real-Time Seeing Anything

March 10, 2025

Авторы: Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

cs.AI

Аннотация

Обнаружение объектов и сегментация широко применяются в задачах компьютерного зрения, однако традиционные модели, такие как серия YOLO, несмотря на свою эффективность и точность, ограничены предопределенными категориями, что затрудняет их адаптацию в открытых сценариях. Современные методы с открытым набором используют текстовые подсказки, визуальные сигналы или подходы без подсказок, чтобы преодолеть это ограничение, но часто жертвуют производительностью или эффективностью из-за высоких вычислительных затрат или сложности развертывания. В данной работе мы представляем YOLOE — модель, которая объединяет обнаружение и сегментацию с использованием различных механизмов открытых подсказок в рамках единой высокоэффективной архитектуры, обеспечивая возможность "видеть что угодно" в реальном времени. Для текстовых подсказок мы предлагаем стратегию Re-parameterizable Region-Text Alignment (RepRTA), которая уточняет предобученные текстовые эмбеддинги с помощью перепараметризуемой легковесной вспомогательной сети и улучшает визуально-текстовое соответствие без дополнительных затрат на вывод и передачу. Для визуальных подсказок мы представляем Semantic-Activated Visual Prompt Encoder (SAVPE), который использует разделенные семантические и активационные ветви для улучшения визуальных эмбеддингов и точности при минимальной сложности. Для сценариев без подсказок мы вводим стратегию Lazy Region-Prompt Contrast (LRPC), которая использует встроенный большой словарь и специализированные эмбеддинги для идентификации всех объектов, избегая зависимости от дорогостоящих языковых моделей. Эксперименты демонстрируют исключительную производительность YOLOE в задачах zero-shot и ее переносимость при высокой эффективности вывода и низких затратах на обучение. В частности, на наборе данных LVIS при трехкратном снижении затрат на обучение и ускорении вывода в 1,4 раза YOLOE-v8-S превосходит YOLO-Worldv2-S на 3,5 AP. При переносе на COCO YOLOE-v8-L достигает прироста на 0,6 AP^b и 0,4 AP^m по сравнению с закрытым YOLOv8-L при почти четырехкратном сокращении времени обучения. Код и модели доступны по адресу https://github.com/THU-MIG/yoloe.

English

Object detection and segmentation are widely employed in computer vision applications, yet conventional models like YOLO series, while efficient and accurate, are limited by predefined categories, hindering adaptability in open scenarios. Recent open-set methods leverage text prompts, visual cues, or prompt-free paradigm to overcome this, but often compromise between performance and efficiency due to high computational demands or deployment complexity. In this work, we introduce YOLOE, which integrates detection and segmentation across diverse open prompt mechanisms within a single highly efficient model, achieving real-time seeing anything. For text prompts, we propose Re-parameterizable Region-Text Alignment (RepRTA) strategy. It refines pretrained textual embeddings via a re-parameterizable lightweight auxiliary network and enhances visual-textual alignment with zero inference and transferring overhead. For visual prompts, we present Semantic-Activated Visual Prompt Encoder (SAVPE). It employs decoupled semantic and activation branches to bring improved visual embedding and accuracy with minimal complexity. For prompt-free scenario, we introduce Lazy Region-Prompt Contrast (LRPC) strategy. It utilizes a built-in large vocabulary and specialized embedding to identify all objects, avoiding costly language model dependency. Extensive experiments show YOLOE's exceptional zero-shot performance and transferability with high inference efficiency and low training cost. Notably, on LVIS, with 3times less training cost and 1.4times inference speedup, YOLOE-v8-S surpasses YOLO-Worldv2-S by 3.5 AP. When transferring to COCO, YOLOE-v8-L achieves 0.6 AP^b and 0.4 AP^m gains over closed-set YOLOv8-L with nearly 4times less training time. Code and models are available at https://github.com/THU-MIG/yoloe.