Weniger ist mehr: Fokussierte Aufmerksamkeit für effizientes DETR

Less is More: Focus Attention for Efficient DETR

July 24, 2023

Autoren: Dehua Zheng, Wenhui Dong, Hailin Hu, Xinghao Chen, Yunhe Wang

cs.AI

Zusammenfassung

DETR-ähnliche Modelle haben die Leistung von Detektoren erheblich gesteigert und sogar klassische konvolutionale Modelle übertroffen. Allerdings führt die Gleichbehandlung aller Tokens ohne Unterscheidung in der traditionellen Encoder-Struktur zu einer redundanten Rechenlast. Die jüngsten Sparsifizierungsstrategien nutzen eine Teilmenge informativer Tokens, um die Aufmerksamkeitskomplexität zu reduzieren und dabei die Leistung durch den sparsen Encoder aufrechtzuerhalten. Diese Methoden neigen jedoch dazu, sich auf unzuverlässige Modellstatistiken zu verlassen. Darüber hinaus beeinträchtigt die einfache Reduzierung der Token-Population die Detektionsleistung in erheblichem Maße, was die Anwendung dieser sparsen Modelle einschränkt. Wir schlagen Focus-DETR vor, das die Aufmerksamkeit auf informativeren Tokens konzentriert, um einen besseren Kompromiss zwischen Recheneffizienz und Modellgenauigkeit zu erreichen. Konkret rekonstruieren wir den Encoder mit dualer Aufmerksamkeit, die einen Token-Bewertungsmechanismus umfasst, der sowohl Lokalisierungs- als auch Kategoriesemantikinformationen der Objekte aus mehrstufigen Feature-Maps berücksichtigt. Wir verwerfen effizient die Hintergrundanfragen und verbessern die semantische Interaktion der feinkörnigen Objektanfragen basierend auf den Bewertungen. Im Vergleich zu den modernsten sparsen DETR-ähnlichen Detektoren unter denselben Bedingungen erreicht unser Focus-DETR eine vergleichbare Komplexität und erzielt 50,4 AP (+2,2) auf COCO. Der Code ist verfügbar unter https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR und https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.

English

DETR-like models have significantly boosted the performance of detectors and even outperformed classical convolutional models. However, all tokens are treated equally without discrimination brings a redundant computational burden in the traditional encoder structure. The recent sparsification strategies exploit a subset of informative tokens to reduce attention complexity maintaining performance through the sparse encoder. But these methods tend to rely on unreliable model statistics. Moreover, simply reducing the token population hinders the detection performance to a large extent, limiting the application of these sparse models. We propose Focus-DETR, which focuses attention on more informative tokens for a better trade-off between computation efficiency and model accuracy. Specifically, we reconstruct the encoder with dual attention, which includes a token scoring mechanism that considers both localization and category semantic information of the objects from multi-scale feature maps. We efficiently abandon the background queries and enhance the semantic interaction of the fine-grained object queries based on the scores. Compared with the state-of-the-art sparse DETR-like detectors under the same setting, our Focus-DETR gets comparable complexity while achieving 50.4AP (+2.2) on COCO. The code is available at https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR and https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.