Menos es Más: Atención Enfocada para DETR Eficiente

Less is More: Focus Attention for Efficient DETR

July 24, 2023

Autores: Dehua Zheng, Wenhui Dong, Hailin Hu, Xinghao Chen, Yunhe Wang

cs.AI

Resumen

Los modelos tipo DETR han impulsado significativamente el rendimiento de los detectores e incluso han superado a los modelos convolucionales clásicos. Sin embargo, tratar todos los tokens por igual sin discriminación genera una carga computacional redundante en la estructura tradicional del codificador. Las estrategias recientes de esparsificación aprovechan un subconjunto de tokens informativos para reducir la complejidad de la atención, manteniendo el rendimiento a través del codificador disperso. Pero estos métodos tienden a depender de estadísticas del modelo poco confiables. Además, simplemente reducir la población de tokens perjudica en gran medida el rendimiento de la detección, limitando la aplicación de estos modelos dispersos. Proponemos Focus-DETR, que centra la atención en tokens más informativos para lograr un mejor equilibrio entre la eficiencia computacional y la precisión del modelo. Específicamente, reconstruimos el codificador con atención dual, que incluye un mecanismo de puntuación de tokens que considera tanto la localización como la información semántica de categoría de los objetos a partir de mapas de características multi-escala. Abandonamos eficientemente las consultas de fondo y mejoramos la interacción semántica de las consultas de objetos de grano fino basándonos en las puntuaciones. En comparación con los detectores dispersos tipo DETR más avanzados en la misma configuración, nuestro Focus-DETR obtiene una complejidad comparable mientras alcanza 50.4 AP (+2.2) en COCO. El código está disponible en https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR y https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.

English

DETR-like models have significantly boosted the performance of detectors and even outperformed classical convolutional models. However, all tokens are treated equally without discrimination brings a redundant computational burden in the traditional encoder structure. The recent sparsification strategies exploit a subset of informative tokens to reduce attention complexity maintaining performance through the sparse encoder. But these methods tend to rely on unreliable model statistics. Moreover, simply reducing the token population hinders the detection performance to a large extent, limiting the application of these sparse models. We propose Focus-DETR, which focuses attention on more informative tokens for a better trade-off between computation efficiency and model accuracy. Specifically, we reconstruct the encoder with dual attention, which includes a token scoring mechanism that considers both localization and category semantic information of the objects from multi-scale feature maps. We efficiently abandon the background queries and enhance the semantic interaction of the fine-grained object queries based on the scores. Compared with the state-of-the-art sparse DETR-like detectors under the same setting, our Focus-DETR gets comparable complexity while achieving 50.4AP (+2.2) on COCO. The code is available at https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR and https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.