Equivariancia Suave Sintonizable con Garantías

Resumen

La equivarianza es una propiedad fundamental en los modelos de visión por computadora, sin embargo, la equivarianza estricta rara vez se satisface en los datos del mundo real, lo que puede limitar el rendimiento de un modelo. Por lo tanto, es deseable controlar el grado de equivarianza. Proponemos un marco general para construir modelos suavemente equivariantes proyectando los pesos del modelo en un subespacio diseñado. El método se aplica a cualquier arquitectura preentrenada y proporciona cotas teóricas sobre el error de equivarianza inducido. Empíricamente, demostramos la efectividad de nuestro método en múltiples *backbones* preentrenados, incluidos ViT y ResNet, en tareas de clasificación de imágenes, segmentación semántica y predicción de trayectorias humanas. Cabe destacar que nuestro enfoque mejora el rendimiento y simultáneamente reduce el error de equivarianza en el competitivo benchmark de ImageNet.

English

Equivariance is a fundamental property in computer vision models, yet strict equivariance is rarely satisfied in real-world data, which can limit a model's performance. Controlling the degree of equivariance is therefore desirable. We propose a general framework for constructing soft equivariant models by projecting the model weights into a designed subspace. The method applies to any pre-trained architecture and provides theoretical bounds on the induced equivariance error. Empirically, we demonstrate the effectiveness of our method on multiple pre-trained backbones, including ViT and ResNet, across image classification, semantic segmentation, and human-trajectory prediction tasks. Notably, our approach improves the performance while simultaneously reducing equivariance error on the competitive ImageNet benchmark.

Equivariancia Suave Sintonizable con Garantías

Tunable Soft Equivariance with Guarantees

Resumen

Support