Equivarianza Morbida Regolabile con Garanzie

Abstract

L'equivarianza è una proprietà fondamentale nei modelli di visione artificiale, sebbene l'equivarianza rigorosa sia raramente soddisfatta nei dati del mondo reale, il che può limitare le prestazioni di un modello. Il controllo del grado di equivarianza è quindi auspicabile. Proponiamo una struttura generale per costruire modelli soft equivarianti proiettando i pesi del modello in un sottospazio progettato. Il metodo si applica a qualsiasi architettura pre-addestrata e fornisce limiti teorici sull'errore di equivarianza indotto. Empiricamente, dimostriamo l'efficacia del nostro metodo su molteplici backbone pre-addestrati, inclusi ViT e ResNet, in compiti di classificazione di immagini, segmentazione semantica e previsione di traiettorie umane. Significativamente, il nostro approccio migliora le prestazioni riducendo simultaneamente l'errore di equivarianza sul competitivo benchmark ImageNet.

English

Equivariance is a fundamental property in computer vision models, yet strict equivariance is rarely satisfied in real-world data, which can limit a model's performance. Controlling the degree of equivariance is therefore desirable. We propose a general framework for constructing soft equivariant models by projecting the model weights into a designed subspace. The method applies to any pre-trained architecture and provides theoretical bounds on the induced equivariance error. Empirically, we demonstrate the effectiveness of our method on multiple pre-trained backbones, including ViT and ResNet, across image classification, semantic segmentation, and human-trajectory prediction tasks. Notably, our approach improves the performance while simultaneously reducing equivariance error on the competitive ImageNet benchmark.

Equivarianza Morbida Regolabile con Garanzie

Tunable Soft Equivariance with Guarantees

Abstract

Support