YOLOv12: Реальные детекторы объектов с фокусом на механизмах внимания

YOLOv12: Attention-Centric Real-Time Object Detectors

February 18, 2025

Авторы: Yunjie Tian, Qixiang Ye, David Doermann

cs.AI

Аннотация

Улучшение архитектуры сети в рамках YOLO долгое время было важной задачей, однако фокус смещался на усовершенствования, основанные на сверточных нейронных сетях (CNN), несмотря на доказанное превосходство механизмов внимания в моделировании. Это связано с тем, что модели на основе внимания не могут сравниться по скорости с CNN-моделями. В данной статье предлагается YOLO-фреймворк, ориентированный на механизмы внимания, а именно YOLOv12, который соответствует скорости предыдущих CNN-моделей, одновременно используя преимущества механизмов внимания. YOLOv12 превосходит все популярные детекторы объектов в реальном времени по точности при конкурентоспособной скорости. Например, YOLOv12-N достигает 40,6% mAP с задержкой вывода 1,64 мс на GPU T4, опережая продвинутые YOLOv10-N / YOLOv11-N на 2,1%/1,2% mAP при сопоставимой скорости. Это преимущество распространяется и на другие масштабы моделей. YOLOv12 также превосходит end-to-end детекторы в реальном времени, улучшающие DETR, такие как RT-DETR / RT-DETRv2: YOLOv12-S обгоняет RT-DETR-R18 / RT-DETRv2-R18, работая на 42% быстрее, используя только 36% вычислений и 45% параметров. Дополнительные сравнения представлены на Рисунке 1.

English

Enhancing the network architecture of the YOLO framework has been crucial for a long time, but has focused on CNN-based improvements despite the proven superiority of attention mechanisms in modeling capabilities. This is because attention-based models cannot match the speed of CNN-based models. This paper proposes an attention-centric YOLO framework, namely YOLOv12, that matches the speed of previous CNN-based ones while harnessing the performance benefits of attention mechanisms. YOLOv12 surpasses all popular real-time object detectors in accuracy with competitive speed. For example, YOLOv12-N achieves 40.6% mAP with an inference latency of 1.64 ms on a T4 GPU, outperforming advanced YOLOv10-N / YOLOv11-N by 2.1%/1.2% mAP with a comparable speed. This advantage extends to other model scales. YOLOv12 also surpasses end-to-end real-time detectors that improve DETR, such as RT-DETR / RT-DETRv2: YOLOv12-S beats RT-DETR-R18 / RT-DETRv2-R18 while running 42% faster, using only 36% of the computation and 45% of the parameters. More comparisons are shown in Figure 1.