YOLOE: Visión en tiempo real de cualquier cosa

YOLOE: Real-Time Seeing Anything

March 10, 2025

Autores: Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

cs.AI

Resumen

La detección y segmentación de objetos son ampliamente utilizadas en aplicaciones de visión por computadora, sin embargo, modelos convencionales como la serie YOLO, aunque eficientes y precisos, están limitados por categorías predefinidas, lo que dificulta su adaptabilidad en escenarios abiertos. Métodos recientes de conjunto abierto aprovechan indicaciones de texto, señales visuales o paradigmas sin indicaciones para superar esto, pero a menudo sacrifican el rendimiento y la eficiencia debido a las altas demandas computacionales o la complejidad de implementación. En este trabajo, presentamos YOLOE, que integra detección y segmentación a través de diversos mecanismos de indicación abierta dentro de un único modelo altamente eficiente, logrando ver cualquier cosa en tiempo real. Para indicaciones de texto, proponemos la estrategia de Alineación de Región-Texto Re-parametrizable (RepRTA). Esta refina incrustaciones textuales preentrenadas mediante una red auxiliar ligera re-parametrizable y mejora la alineación visual-textual con cero sobrecarga de inferencia y transferencia. Para indicaciones visuales, presentamos el Codificador de Indicación Visual Activado Semánticamente (SAVPE). Emplea ramas semánticas y de activación desacopladas para proporcionar una incrustación visual mejorada y precisión con mínima complejidad. Para escenarios sin indicaciones, introducimos la estrategia de Contraste de Región-Indicación Perezosa (LRPC). Utiliza un vocabulario grande incorporado y una incrustación especializada para identificar todos los objetos, evitando la costosa dependencia de modelos de lenguaje. Experimentos extensos muestran el excepcional rendimiento de cero disparos y transferibilidad de YOLOE con alta eficiencia de inferencia y bajo costo de entrenamiento. Notablemente, en LVIS, con 3 veces menos costo de entrenamiento y 1.4 veces más velocidad de inferencia, YOLOE-v8-S supera a YOLO-Worldv2-S por 3.5 AP. Al transferir a COCO, YOLOE-v8-L logra ganancias de 0.6 AP^b y 0.4 AP^m sobre YOLOv8-L de conjunto cerrado con casi 4 veces menos tiempo de entrenamiento. El código y los modelos están disponibles en https://github.com/THU-MIG/yoloe.

English

Object detection and segmentation are widely employed in computer vision applications, yet conventional models like YOLO series, while efficient and accurate, are limited by predefined categories, hindering adaptability in open scenarios. Recent open-set methods leverage text prompts, visual cues, or prompt-free paradigm to overcome this, but often compromise between performance and efficiency due to high computational demands or deployment complexity. In this work, we introduce YOLOE, which integrates detection and segmentation across diverse open prompt mechanisms within a single highly efficient model, achieving real-time seeing anything. For text prompts, we propose Re-parameterizable Region-Text Alignment (RepRTA) strategy. It refines pretrained textual embeddings via a re-parameterizable lightweight auxiliary network and enhances visual-textual alignment with zero inference and transferring overhead. For visual prompts, we present Semantic-Activated Visual Prompt Encoder (SAVPE). It employs decoupled semantic and activation branches to bring improved visual embedding and accuracy with minimal complexity. For prompt-free scenario, we introduce Lazy Region-Prompt Contrast (LRPC) strategy. It utilizes a built-in large vocabulary and specialized embedding to identify all objects, avoiding costly language model dependency. Extensive experiments show YOLOE's exceptional zero-shot performance and transferability with high inference efficiency and low training cost. Notably, on LVIS, with 3times less training cost and 1.4times inference speedup, YOLOE-v8-S surpasses YOLO-Worldv2-S by 3.5 AP. When transferring to COCO, YOLOE-v8-L achieves 0.6 AP^b and 0.4 AP^m gains over closed-set YOLOv8-L with nearly 4times less training time. Code and models are available at https://github.com/THU-MIG/yoloe.