Minder is Meer: Richt Aandacht voor Efficiënte DETR

Less is More: Focus Attention for Efficient DETR

July 24, 2023

Auteurs: Dehua Zheng, Wenhui Dong, Hailin Hu, Xinghao Chen, Yunhe Wang

cs.AI

Samenvatting

DETR-achtige modellen hebben de prestaties van detectoren aanzienlijk verbeterd en zelfs klassieke convolutionele modellen overtroffen. Echter, het feit dat alle tokens gelijk worden behandeld zonder onderscheid, brengt een overbodige rekenlast met zich mee in de traditionele encoderstructuur. Recente verspreidingsstrategieën maken gebruik van een subset van informatieve tokens om de aandachtcomplexiteit te verminderen, terwijl de prestaties behouden blijven door de sparse encoder. Maar deze methoden hebben de neiging te vertrouwen op onbetrouwbare modelstatistieken. Bovendien belemmert het simpelweg verminderen van het aantal tokens in grote mate de detectieprestaties, wat de toepassing van deze sparse modellen beperkt. Wij stellen Focus-DETR voor, dat de aandacht richt op meer informatieve tokens voor een betere afweging tussen rekenkundige efficiëntie en modelnauwkeurigheid. Specifiek reconstrueren we de encoder met dubbele aandacht, wat een token-scoringmechanisme omvat dat zowel lokalisatie als categorische semantische informatie van de objecten uit multi-schaal kenmerkkaarten in overweging neemt. We verwijderen efficiënt de achtergrondqueries en verbeteren de semantische interactie van de fijnmazige objectqueries op basis van de scores. Vergeleken met de state-of-the-art sparse DETR-achtige detectoren onder dezelfde instellingen, behaalt onze Focus-DETR vergelijkbare complexiteit terwijl hij 50.4AP (+2.2) op COCO bereikt. De code is beschikbaar op https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR en https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.

English

DETR-like models have significantly boosted the performance of detectors and even outperformed classical convolutional models. However, all tokens are treated equally without discrimination brings a redundant computational burden in the traditional encoder structure. The recent sparsification strategies exploit a subset of informative tokens to reduce attention complexity maintaining performance through the sparse encoder. But these methods tend to rely on unreliable model statistics. Moreover, simply reducing the token population hinders the detection performance to a large extent, limiting the application of these sparse models. We propose Focus-DETR, which focuses attention on more informative tokens for a better trade-off between computation efficiency and model accuracy. Specifically, we reconstruct the encoder with dual attention, which includes a token scoring mechanism that considers both localization and category semantic information of the objects from multi-scale feature maps. We efficiently abandon the background queries and enhance the semantic interaction of the fine-grained object queries based on the scores. Compared with the state-of-the-art sparse DETR-like detectors under the same setting, our Focus-DETR gets comparable complexity while achieving 50.4AP (+2.2) on COCO. The code is available at https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR and https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.