Downsampling di Gruppo con Anti-aliasing Equivariante

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

Autori: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

Abstract

I livelli di downsampling sono componenti fondamentali nelle architetture CNN, che aiutano ad aumentare il campo ricettivo per l'apprendimento di caratteristiche di alto livello e riducono la quantità di memoria/calcolo nel modello. In questo lavoro, studiamo la generalizzazione del livello di downsampling uniforme per architetture equivarianti rispetto a gruppi, ad esempio G-CNN. In particolare, miriamo a ridurre la risoluzione di segnali (mappe di caratteristiche) su gruppi finiti generali con anti-aliasing. Questo comporta quanto segue: (a) Dato un gruppo finito e una frequenza di downsampling, presentiamo un algoritmo per formare una scelta adeguata di sottogruppo. (b) Dato un gruppo e un sottogruppo, studiamo la nozione di limitazione in banda e proponiamo come eseguire l'anti-aliasing. In particolare, il nostro metodo generalizza la nozione di downsampling basata sulla teoria classica del campionamento. Quando il segnale è su un gruppo ciclico, cioè periodico, il nostro metodo riproduce il downsampling standard di un filtro passa-basso ideale seguito da un'operazione di sottocampionamento. Infine, abbiamo condotto esperimenti su compiti di classificazione di immagini dimostrando che l'operazione di downsampling proposta migliora l'accuratezza, preserva meglio l'equivarianza e riduce le dimensioni del modello quando incorporata in reti G-equivarianti.

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks