등변성 안티앨리어싱을 통한 그룹 다운샘플링

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

저자: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

초록

다운샘플링 레이어는 CNN 아키텍처에서 중요한 구성 요소로, 고수준 특징 학습을 위한 수용 영역을 증가시키고 모델의 메모리/계산량을 줄이는 데 도움을 줍니다. 본 연구에서는 그룹 등변 아키텍처(예: G-CNN)를 위한 균일 다운샘플링 레이어의 일반화를 탐구합니다. 즉, 일반적인 유한 그룹에서 안티앨리어싱을 적용하여 신호(특징 맵)를 다운샘플링하는 것을 목표로 합니다. 이는 다음과 같은 내용을 포함합니다: (a) 주어진 유한 그룹과 다운샘플링 비율에 대해 적절한 부분 그룹을 선택하는 알고리즘을 제시합니다. (b) 그룹과 부분 그룹이 주어졌을 때, 대역 제한성의 개념을 연구하고 안티앨리어싱을 수행하는 방법을 제안합니다. 특히, 우리의 방법은 고전적인 샘플링 이론에 기반한 다운샘플링 개념을 일반화합니다. 신호가 순환 그룹(즉, 주기적)에 있을 때, 우리의 방법은 이상적인 저역통과 필터와 서브샘플링 작업으로 구성된 표준 다운샘플링을 복원합니다. 마지막으로, 이미지 분류 작업에서 실험을 수행하여 제안된 다운샘플링 작업이 G-등변 네트워크에 통합될 때 정확도를 향상시키고 등변성을 더 잘 보존하며 모델 크기를 줄이는 것을 입증했습니다.

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks