Submuestreo Grupal con Anti-aliasing Equivariante

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

Autores: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

Resumen

Las capas de submuestreo son componentes cruciales en las arquitecturas de CNN, ya que ayudan a aumentar el campo receptivo para aprender características de alto nivel y reducen la cantidad de memoria/cómputo en el modelo. En este trabajo, estudiamos la generalización de la capa de submuestreo uniforme para arquitecturas equivariantes a grupos, por ejemplo, G-CNNs. Es decir, nuestro objetivo es submuestrear señales (mapas de características) en grupos finitos generales con anti-aliasing. Esto implica lo siguiente: (a) Dado un grupo finito y una tasa de submuestreo, presentamos un algoritmo para formar una elección adecuada de subgrupo. (b) Dado un grupo y un subgrupo, estudiamos la noción de limitación de banda y proponemos cómo realizar anti-aliasing. Cabe destacar que nuestro método generaliza la noción de submuestreo basada en la teoría clásica de muestreo. Cuando la señal está en un grupo cíclico, es decir, es periódica, nuestro método recupera el submuestreo estándar de un filtro pasa-bajo ideal seguido de una operación de submuestreo. Finalmente, realizamos experimentos en tareas de clasificación de imágenes que demuestran que la operación de submuestreo propuesta mejora la precisión, preserva mejor la equivariancia y reduce el tamaño del modelo cuando se incorpora en redes G-equivariantes.

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks