Sous-échantillonnage de groupe avec anti-crénelage équivariant

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

Auteurs: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

Résumé

Les couches de sous-échantillonnage sont des éléments essentiels dans les architectures de CNN, qui contribuent à augmenter le champ réceptif pour l'apprentissage de caractéristiques de haut niveau et à réduire la quantité de mémoire/calcul dans le modèle. Dans ce travail, nous étudions la généralisation de la couche de sous-échantillonnage uniforme pour les architectures équivariantes par groupe, par exemple, les G-CNN. Plus précisément, nous visons à sous-échantillonner des signaux (cartes de caractéristiques) sur des groupes finis généraux avec anti-crénelage. Cela implique les éléments suivants : (a) Étant donné un groupe fini et un taux de sous-échantillonnage, nous présentons un algorithme pour former un choix approprié de sous-groupe. (b) Étant donné un groupe et un sous-groupe, nous étudions la notion de limitation de bande et proposons comment effectuer l'anti-crénelage. Notamment, notre méthode généralise la notion de sous-échantillonnage basée sur la théorie classique de l'échantillonnage. Lorsque le signal est sur un groupe cyclique, c'est-à-dire périodique, notre méthode retrouve le sous-échantillonnage standard d'un filtre passe-bas idéal suivi d'une opération de sous-échantillonnage. Enfin, nous avons mené des expériences sur des tâches de classification d'images démontrant que l'opération de sous-échantillonnage proposée améliore la précision, préserve mieux l'équivariance et réduit la taille du modèle lorsqu'elle est intégrée dans les réseaux G-équivariants.

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks