Groepsdownsampling met Equivariant Anti-aliasing

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

Auteurs: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

Samenvatting

Downsampling-lagen zijn cruciale bouwstenen in CNN-architecturen, die helpen om het receptieve veld te vergroten voor het leren van hoogwaardige kenmerken en de hoeveelheid geheugen/berekeningen in het model te verminderen. In dit werk bestuderen we de generalisatie van de uniforme downsampling-laag voor groepsequivariante architecturen, zoals G-CNN's. Dat wil zeggen, we streven ernaar om signalen (feature maps) op algemene eindige groepen te downsamplen met anti-aliasing. Dit omvat het volgende: (a) Gegeven een eindige groep en een downsampling-snelheid, presenteren we een algoritme om een geschikte keuze van een subgroep te vormen. (b) Gegeven een groep en een subgroep, bestuderen we het begrip bandbreedte-beperktheid en stellen we voor hoe anti-aliasing kan worden uitgevoerd. Opmerkelijk is dat onze methode het begrip downsampling generaliseert op basis van de klassieke samplingtheorie. Wanneer het signaal zich op een cyclische groep bevindt, d.w.z. periodiek, herstelt onze methode de standaard downsampling van een ideaal laagdoorlaatfilter gevolgd door een subsampling-operatie. Ten slotte hebben we experimenten uitgevoerd op beeldclassificatietaken die aantonen dat de voorgestelde downsampling-operatie de nauwkeurigheid verbetert, equivariantie beter behoudt en de modelgrootte vermindert wanneer deze wordt geïntegreerd in G-equivariante netwerken.

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks