Moins c'est Plus : Concentration de l'Attention pour un DETR Efficace

Less is More: Focus Attention for Efficient DETR

July 24, 2023

Auteurs: Dehua Zheng, Wenhui Dong, Hailin Hu, Xinghao Chen, Yunhe Wang

cs.AI

Résumé

Les modèles de type DETR ont considérablement amélioré les performances des détecteurs et ont même surpassé les modèles convolutionnels classiques. Cependant, le traitement égal de tous les tokens sans distinction entraîne une charge de calcul redondante dans la structure traditionnelle de l'encodeur. Les stratégies récentes de sparsification exploitent un sous-ensemble de tokens informatifs pour réduire la complexité de l'attention tout en maintenant les performances grâce à l'encodeur sparse. Mais ces méthodes ont tendance à s'appuyer sur des statistiques de modèle peu fiables. De plus, la simple réduction de la population de tokens nuit considérablement aux performances de détection, limitant ainsi l'application de ces modèles sparses. Nous proposons Focus-DETR, qui concentre l'attention sur les tokens les plus informatifs pour un meilleur compromis entre l'efficacité de calcul et la précision du modèle. Plus précisément, nous reconstruisons l'encodeur avec une double attention, qui inclut un mécanisme de notation des tokens prenant en compte à la fois la localisation et les informations sémantiques de catégorie des objets à partir de cartes de caractéristiques multi-échelles. Nous abandonnons efficacement les requêtes de fond et renforçons l'interaction sémantique des requêtes d'objets à granularité fine en fonction des scores. Par rapport aux détecteurs de type DETR sparse de pointe dans les mêmes conditions, notre Focus-DETR obtient une complexité comparable tout en atteignant 50,4 AP (+2,2) sur COCO. Le code est disponible à l'adresse https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR et https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.

English

DETR-like models have significantly boosted the performance of detectors and even outperformed classical convolutional models. However, all tokens are treated equally without discrimination brings a redundant computational burden in the traditional encoder structure. The recent sparsification strategies exploit a subset of informative tokens to reduce attention complexity maintaining performance through the sparse encoder. But these methods tend to rely on unreliable model statistics. Moreover, simply reducing the token population hinders the detection performance to a large extent, limiting the application of these sparse models. We propose Focus-DETR, which focuses attention on more informative tokens for a better trade-off between computation efficiency and model accuracy. Specifically, we reconstruct the encoder with dual attention, which includes a token scoring mechanism that considers both localization and category semantic information of the objects from multi-scale feature maps. We efficiently abandon the background queries and enhance the semantic interaction of the fine-grained object queries based on the scores. Compared with the state-of-the-art sparse DETR-like detectors under the same setting, our Focus-DETR gets comparable complexity while achieving 50.4AP (+2.2) on COCO. The code is available at https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR and https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.