YOLOE: Visione in Tempo Reale di Qualsiasi Cosa

YOLOE: Real-Time Seeing Anything

March 10, 2025

Autori: Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

cs.AI

Abstract

Il rilevamento e la segmentazione di oggetti sono ampiamente utilizzati nelle applicazioni di visione artificiale, tuttavia i modelli convenzionali come la serie YOLO, sebbene efficienti e precisi, sono limitati da categorie predefinite, ostacolando l'adattabilità in scenari aperti. I recenti metodi open-set sfruttano prompt testuali, segnali visivi o paradigmi senza prompt per superare questo limite, ma spesso compromettono tra prestazioni ed efficienza a causa di elevate richieste computazionali o complessità di implementazione. In questo lavoro, introduciamo YOLOE, che integra rilevamento e segmentazione attraverso diversi meccanismi di prompt aperti all'interno di un unico modello altamente efficiente, raggiungendo una visione in tempo reale di qualsiasi cosa. Per i prompt testuali, proponiamo la strategia di Allineamento Regione-Testo Riparameterizzabile (RepRTA). Questa affina gli embedding testuali pre-addestrati tramite una rete ausiliaria leggera riparameterizzabile e migliora l'allineamento visivo-testuale con zero overhead di inferenza e trasferimento. Per i prompt visivi, presentiamo l'Encoder di Prompt Visivo Attivato Semanticamente (SAVPE). Questo utilizza rami semantici e di attivazione disaccoppiati per ottenere un embedding visivo migliorato e una maggiore precisione con una complessità minima. Per lo scenario senza prompt, introduciamo la strategia di Contrasto Regione-Prompt Pigro (LRPC). Questa utilizza un ampio vocabolario integrato e un embedding specializzato per identificare tutti gli oggetti, evitando la dipendenza da costosi modelli linguistici. Esperimenti estensivi dimostrano le eccezionali prestazioni zero-shot e la trasferibilità di YOLOE con un'elevata efficienza di inferenza e bassi costi di addestramento. In particolare, su LVIS, con un costo di addestramento 3 volte inferiore e una velocità di inferenza 1,4 volte maggiore, YOLOE-v8-S supera YOLO-Worldv2-S di 3,5 AP. Quando trasferito su COCO, YOLOE-v8-L ottiene guadagni di 0,6 AP^b e 0,4 AP^m rispetto a YOLOv8-L closed-set con un tempo di addestramento quasi 4 volte inferiore. Codice e modelli sono disponibili su https://github.com/THU-MIG/yoloe.

English

Object detection and segmentation are widely employed in computer vision applications, yet conventional models like YOLO series, while efficient and accurate, are limited by predefined categories, hindering adaptability in open scenarios. Recent open-set methods leverage text prompts, visual cues, or prompt-free paradigm to overcome this, but often compromise between performance and efficiency due to high computational demands or deployment complexity. In this work, we introduce YOLOE, which integrates detection and segmentation across diverse open prompt mechanisms within a single highly efficient model, achieving real-time seeing anything. For text prompts, we propose Re-parameterizable Region-Text Alignment (RepRTA) strategy. It refines pretrained textual embeddings via a re-parameterizable lightweight auxiliary network and enhances visual-textual alignment with zero inference and transferring overhead. For visual prompts, we present Semantic-Activated Visual Prompt Encoder (SAVPE). It employs decoupled semantic and activation branches to bring improved visual embedding and accuracy with minimal complexity. For prompt-free scenario, we introduce Lazy Region-Prompt Contrast (LRPC) strategy. It utilizes a built-in large vocabulary and specialized embedding to identify all objects, avoiding costly language model dependency. Extensive experiments show YOLOE's exceptional zero-shot performance and transferability with high inference efficiency and low training cost. Notably, on LVIS, with 3times less training cost and 1.4times inference speedup, YOLOE-v8-S surpasses YOLO-Worldv2-S by 3.5 AP. When transferring to COCO, YOLOE-v8-L achieves 0.6 AP^b and 0.4 AP^m gains over closed-set YOLOv8-L with nearly 4times less training time. Code and models are available at https://github.com/THU-MIG/yoloe.