YOLOE: Visão em Tempo Real de Qualquer Coisa

YOLOE: Real-Time Seeing Anything

March 10, 2025

Autores: Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

cs.AI

Resumo

A detecção e segmentação de objetos são amplamente utilizadas em aplicações de visão computacional, porém modelos convencionais como a série YOLO, embora eficientes e precisos, são limitados por categorias predefinidas, dificultando a adaptabilidade em cenários abertos. Métodos recentes de conjunto aberto utilizam prompts de texto, pistas visuais ou paradigmas sem prompt para superar isso, mas frequentemente comprometem o equilíbrio entre desempenho e eficiência devido a altas demandas computacionais ou complexidade de implantação. Neste trabalho, apresentamos o YOLOE, que integra detecção e segmentação em diversos mecanismos de prompt aberto dentro de um único modelo altamente eficiente, alcançando a capacidade de ver qualquer coisa em tempo real. Para prompts de texto, propomos a estratégia de Alinhamento de Região-Texto Re-parametrizável (RepRTA). Ela refina embeddings textuais pré-treinados por meio de uma rede auxiliar leve e re-parametrizável e melhora o alinhamento visual-textual com custo zero de inferência e transferência. Para prompts visuais, apresentamos o Codificador de Prompt Visual Ativado Semanticamente (SAVPE). Ele emprega ramos semânticos e de ativação desacoplados para trazer embeddings visuais aprimorados e maior precisão com complexidade mínima. Para cenários sem prompt, introduzimos a estratégia de Contraste de Região-Prompt Preguiçoso (LRPC). Ela utiliza um grande vocabulário interno e embeddings especializados para identificar todos os objetos, evitando a dependência de modelos de linguagem custosos. Experimentos extensivos mostram o desempenho excepcional do YOLOE em zero-shot e sua transferibilidade com alta eficiência de inferência e baixo custo de treinamento. Notavelmente, no LVIS, com 3 vezes menos custo de treinamento e 1,4 vezes mais velocidade de inferência, o YOLOE-v8-S supera o YOLO-Worldv2-S em 3,5 AP. Ao transferir para o COCO, o YOLOE-v8-L alcança ganhos de 0,6 AP^b e 0,4 AP^m em relação ao YOLOv8-L de conjunto fechado, com quase 4 vezes menos tempo de treinamento. Códigos e modelos estão disponíveis em https://github.com/THU-MIG/yoloe.

English

Object detection and segmentation are widely employed in computer vision applications, yet conventional models like YOLO series, while efficient and accurate, are limited by predefined categories, hindering adaptability in open scenarios. Recent open-set methods leverage text prompts, visual cues, or prompt-free paradigm to overcome this, but often compromise between performance and efficiency due to high computational demands or deployment complexity. In this work, we introduce YOLOE, which integrates detection and segmentation across diverse open prompt mechanisms within a single highly efficient model, achieving real-time seeing anything. For text prompts, we propose Re-parameterizable Region-Text Alignment (RepRTA) strategy. It refines pretrained textual embeddings via a re-parameterizable lightweight auxiliary network and enhances visual-textual alignment with zero inference and transferring overhead. For visual prompts, we present Semantic-Activated Visual Prompt Encoder (SAVPE). It employs decoupled semantic and activation branches to bring improved visual embedding and accuracy with minimal complexity. For prompt-free scenario, we introduce Lazy Region-Prompt Contrast (LRPC) strategy. It utilizes a built-in large vocabulary and specialized embedding to identify all objects, avoiding costly language model dependency. Extensive experiments show YOLOE's exceptional zero-shot performance and transferability with high inference efficiency and low training cost. Notably, on LVIS, with 3times less training cost and 1.4times inference speedup, YOLOE-v8-S surpasses YOLO-Worldv2-S by 3.5 AP. When transferring to COCO, YOLOE-v8-L achieves 0.6 AP^b and 0.4 AP^m gains over closed-set YOLOv8-L with nearly 4times less training time. Code and models are available at https://github.com/THU-MIG/yoloe.