等変性アンチエイリアシングを伴うグループダウンサンプリング

Group Downsampling with Equivariant Anti-aliasing

April 24, 2025

著者: Md Ashiqur Rahman, Raymond A. Yeh

cs.AI

要旨

ダウンサンプリング層はCNNアーキテクチャにおいて重要な構成要素であり、高レベルな特徴を学習するための受容野を拡大し、モデルのメモリ/計算量を削減する役割を果たします。本研究では、群等変アーキテクチャ（例えばG-CNN）における一様ダウンサンプリング層の一般化を探求します。具体的には、アンチエイリアシングを伴う一般の有限群上の信号（特徴マップ）をダウンサンプリングすることを目指します。これには以下の内容が含まれます：(a) 有限群とダウンサンプリング率が与えられた場合、適切な部分群を選択するアルゴリズムを提示します。(b) 群と部分群が与えられた場合、帯域制限の概念を検討し、アンチエイリアシングを実行する方法を提案します。特に、本手法は古典的なサンプリング理論に基づくダウンサンプリングの概念を一般化します。信号が巡回群（つまり周期的）上にある場合、本手法は理想的なローパスフィルタに続くサブサンプリング操作という標準的なダウンサンプリングを再現します。最後に、画像分類タスクにおける実験を行い、提案するダウンサンプリング操作がG-等変ネットワークに組み込まれた場合、精度を向上させ、等変性をより良く保持し、モデルサイズを削減することを実証しました。

English

Downsampling layers are crucial building blocks in CNN architectures, which help to increase the receptive field for learning high-level features and reduce the amount of memory/computation in the model. In this work, we study the generalization of the uniform downsampling layer for group equivariant architectures, e.g., G-CNNs. That is, we aim to downsample signals (feature maps) on general finite groups with anti-aliasing. This involves the following: (a) Given a finite group and a downsampling rate, we present an algorithm to form a suitable choice of subgroup. (b) Given a group and a subgroup, we study the notion of bandlimited-ness and propose how to perform anti-aliasing. Notably, our method generalizes the notion of downsampling based on classical sampling theory. When the signal is on a cyclic group, i.e., periodic, our method recovers the standard downsampling of an ideal low-pass filter followed by a subsampling operation. Finally, we conducted experiments on image classification tasks demonstrating that the proposed downsampling operation improves accuracy, better preserves equivariance, and reduces model size when incorporated into G-equivariant networks