YOLOE: Real-Time Alles Zien

YOLOE: Real-Time Seeing Anything

March 10, 2025

Auteurs: Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

cs.AI

Samenvatting

Object detection en segmentatie worden veelvuldig toegepast in computervisietoepassingen, maar conventionele modellen zoals de YOLO-serie, hoewel efficiënt en nauwkeurig, worden beperkt door vooraf gedefinieerde categorieën, wat de aanpassingsvermogen in open scenario's belemmert. Recente open-set methoden maken gebruik van tekstprompts, visuele aanwijzingen of een prompt-vrij paradigma om dit te overwinnen, maar gaan vaak een compromis aan tussen prestaties en efficiëntie vanwege hoge rekenkundige eisen of implementatiecomplexiteit. In dit werk introduceren we YOLOE, dat detectie en segmentatie integreert over diverse open promptmechanismen binnen een enkel zeer efficiënt model, waardoor real-time "alles zien" mogelijk wordt. Voor tekstprompts stellen we de Re-parameterizable Region-Text Alignment (RepRTA) strategie voor. Deze verfijnt vooraf getrainde tekstuele embeddings via een herparameteriseerbaar lichtgewicht hulpnetwerk en verbetert de visueel-tekstuele uitlijning zonder inferentie- en overdrachtskosten. Voor visuele prompts presenteren we de Semantic-Activated Visual Prompt Encoder (SAVPE). Deze maakt gebruik van ontkoppelde semantische en activeringsvertakkingen om verbeterde visuele embedding en nauwkeurigheid te bieden met minimale complexiteit. Voor het prompt-vrije scenario introduceren we de Lazy Region-Prompt Contrast (LRPC) strategie. Deze maakt gebruik van een ingebouwde grote woordenschat en gespecialiseerde embedding om alle objecten te identificeren, waardoor de afhankelijkheid van kostbare taalmodellen wordt vermeden. Uitgebreide experimenten tonen de uitzonderlijke zero-shot prestaties en overdraagbaarheid van YOLOE aan, met hoge inferentie-efficiëntie en lage trainingskosten. Opmerkelijk is dat YOLOE-v8-S op LVIS, met 3 keer minder trainingskosten en 1,4 keer snellere inferentie, YOLO-Worldv2-S met 3,5 AP overtreft. Bij overdracht naar COCO behaalt YOLOE-v8-L 0,6 AP^b en 0,4 AP^m winst ten opzichte van het gesloten-set YOLOv8-L, met bijna 4 keer minder trainingsduur. Code en modellen zijn beschikbaar op https://github.com/THU-MIG/yoloe.

English

Object detection and segmentation are widely employed in computer vision applications, yet conventional models like YOLO series, while efficient and accurate, are limited by predefined categories, hindering adaptability in open scenarios. Recent open-set methods leverage text prompts, visual cues, or prompt-free paradigm to overcome this, but often compromise between performance and efficiency due to high computational demands or deployment complexity. In this work, we introduce YOLOE, which integrates detection and segmentation across diverse open prompt mechanisms within a single highly efficient model, achieving real-time seeing anything. For text prompts, we propose Re-parameterizable Region-Text Alignment (RepRTA) strategy. It refines pretrained textual embeddings via a re-parameterizable lightweight auxiliary network and enhances visual-textual alignment with zero inference and transferring overhead. For visual prompts, we present Semantic-Activated Visual Prompt Encoder (SAVPE). It employs decoupled semantic and activation branches to bring improved visual embedding and accuracy with minimal complexity. For prompt-free scenario, we introduce Lazy Region-Prompt Contrast (LRPC) strategy. It utilizes a built-in large vocabulary and specialized embedding to identify all objects, avoiding costly language model dependency. Extensive experiments show YOLOE's exceptional zero-shot performance and transferability with high inference efficiency and low training cost. Notably, on LVIS, with 3times less training cost and 1.4times inference speedup, YOLOE-v8-S surpasses YOLO-Worldv2-S by 3.5 AP. When transferring to COCO, YOLOE-v8-L achieves 0.6 AP^b and 0.4 AP^m gains over closed-set YOLOv8-L with nearly 4times less training time. Code and models are available at https://github.com/THU-MIG/yoloe.