Групповое понижение дискретизации с эквивариантным устранением наложения спектров

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

Авторы: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

Аннотация

Слои понижения дискретизации являются ключевыми строительными блоками в архитектурах сверточных нейронных сетей (CNN), которые помогают увеличить рецептивное поле для изучения высокоуровневых признаков и уменьшить объем памяти/вычислений в модели. В данной работе мы исследуем обобщение равномерного слоя понижения дискретизации для группово-эквивариантных архитектур, например, G-CNN. А именно, мы стремимся понизить дискретизацию сигналов (карт признаков) на общих конечных группах с использованием антиалиасинга. Это включает следующее: (a) Для заданной конечной группы и скорости понижения дискретизации мы представляем алгоритм для формирования подходящего выбора подгруппы. (b) Для заданной группы и подгруппы мы исследуем понятие ограниченности по полосе частот и предлагаем, как выполнить антиалиасинг. Примечательно, что наш метод обобщает понятие понижения дискретизации, основанное на классической теории дискретизации. Когда сигнал находится на циклической группе, т.е. периодический, наш метод восстанавливает стандартное понижение дискретизации с использованием идеального фильтра нижних частот, за которым следует операция субдискретизации. Наконец, мы провели эксперименты на задачах классификации изображений, демонстрируя, что предложенная операция понижения дискретизации повышает точность, лучше сохраняет эквивариантность и уменьшает размер модели при включении в G-эквивариантные сети.

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks