Gruppenbasiertes Downsampling mit äquivarianter Anti-Aliasing-Filterung

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

Autoren: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

Zusammenfassung

Downsampling-Schichten sind entscheidende Bausteine in CNN-Architekturen, die dazu beitragen, das rezeptive Feld für das Lernen hochrangiger Merkmale zu vergrößern und den Speicher- und Rechenaufwand des Modells zu reduzieren. In dieser Arbeit untersuchen wir die Verallgemeinerung der gleichmäßigen Downsampling-Schicht für gruppenäquivariante Architekturen, z.B. G-CNNs. Das heißt, wir streben an, Signale (Feature-Maps) auf allgemeinen endlichen Gruppen mit Anti-Aliasing herunterzuskalieren. Dies umfasst Folgendes: (a) Bei einer gegebenen endlichen Gruppe und einer Downsampling-Rate präsentieren wir einen Algorithmus, um eine geeignete Untergruppe auszuwählen. (b) Bei einer gegebenen Gruppe und Untergruppe untersuchen wir das Konzept der Bandbegrenzung und schlagen vor, wie Anti-Aliasing durchgeführt werden kann. Bemerkenswerterweise verallgemeinert unsere Methode das Konzept des Downsamplings basierend auf der klassischen Abtasttheorie. Wenn das Signal auf einer zyklischen Gruppe liegt, d.h. periodisch ist, stellt unsere Methode das Standard-Downsampling eines idealen Tiefpassfilters gefolgt von einer Unterabtastoperation wieder her. Schließlich führten wir Experimente zu Bildklassifizierungsaufgaben durch, die zeigen, dass die vorgeschlagene Downsampling-Operation die Genauigkeit verbessert, die Äquivarianz besser erhält und die Modellgröße reduziert, wenn sie in G-äquivariante Netzwerke integriert wird.

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks