Amostragem Reduzida em Grupo com Anti-aliasing Equivariante

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

Autores: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

Resumo

Camadas de downsampling são blocos fundamentais em arquiteturas de CNNs, que ajudam a aumentar o campo receptivo para o aprendizado de características de alto nível e reduzem a quantidade de memória/computação no modelo. Neste trabalho, estudamos a generalização da camada de downsampling uniforme para arquiteturas equivariantes a grupos, por exemplo, G-CNNs. Ou seja, nosso objetivo é realizar downsampling de sinais (mapas de características) em grupos finitos gerais com anti-aliasing. Isso envolve o seguinte: (a) Dado um grupo finito e uma taxa de downsampling, apresentamos um algoritmo para formar uma escolha adequada de subgrupo. (b) Dado um grupo e um subgrupo, estudamos a noção de limitação de banda e propomos como realizar o anti-aliasing. Notavelmente, nosso método generaliza a noção de downsampling com base na teoria clássica de amostragem. Quando o sinal está em um grupo cíclico, ou seja, periódico, nosso método recupera o downsampling padrão de um filtro passa-baixa ideal seguido por uma operação de subamostragem. Por fim, realizamos experimentos em tarefas de classificação de imagens demonstrando que a operação de downsampling proposta melhora a acurácia, preserva melhor a equivariância e reduz o tamanho do modelo quando incorporada em redes G-equivariantes.

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks