보장된 조정 가능한 소프트 등변성

초록

등변성(Equivariance)은 컴퓨터 비전 모델의 기본 속성이지만, 실제 데이터에서는 엄격한 등변성이 거의 충족되지 않아 모델 성능을 제한할 수 있습니다. 따라서 등변성 정도를 제어하는 것이 바람직합니다. 본 연구에서는 모델 가중치를 설계된 부분 공간에 투영하여 소프트 등변 모델을 구축하는 일반적인 프레임워크를 제안합니다. 이 방법은 사전 훈련된 모든 아키텍처에 적용 가능하며, 유도된 등변성 오차에 대한 이론적 한계를 제공합니다. 실증적으로는 ViT와 ResNet을 포함한 여러 사전 훈련된 백본 모델을 대상으로 이미지 분류, 의미론적 분할, 인간 궤적 예측 작업에서 본 방법의 효과를 입증합니다. 특히 경쟁력 있는 ImageNet 벤치마크에서 등변성 오차를 감소시키면서 동시에 성능을 향상시키는 접근 방식을 보여줍니다.

English

Equivariance is a fundamental property in computer vision models, yet strict equivariance is rarely satisfied in real-world data, which can limit a model's performance. Controlling the degree of equivariance is therefore desirable. We propose a general framework for constructing soft equivariant models by projecting the model weights into a designed subspace. The method applies to any pre-trained architecture and provides theoretical bounds on the induced equivariance error. Empirically, we demonstrate the effectiveness of our method on multiple pre-trained backbones, including ViT and ResNet, across image classification, semantic segmentation, and human-trajectory prediction tasks. Notably, our approach improves the performance while simultaneously reducing equivariance error on the competitive ImageNet benchmark.

보장된 조정 가능한 소프트 등변성

Tunable Soft Equivariance with Guarantees

초록

Support