Einstellbare weiche Äquivarianz mit Garantien

Zusammenfassung

Äquivarianz ist eine grundlegende Eigenschaft von Modellen der computergestützten Bildverarbeitung, doch strikte Äquivarianz wird in realen Daten selten erreicht, was die Leistungsfähigkeit eines Modells einschränken kann. Die Kontrolle des Äquivarianzgrades ist daher wünschenswert. Wir schlagen einen allgemeinen Rahmen zur Konstruktion weich äquivarianter Modelle vor, indem Modellgewichte in einen konstruierten Unterraum projiziert werden. Die Methode ist auf jede vortrainierte Architektur anwendbar und liefert theoretische Schranken für den induzierten Äquivarianzfehler. Empirisch demonstrieren wir die Wirksamkeit unserer Methode an mehreren vortrainierten Backbones, einschließlich ViT und ResNet, in den Bereichen Bildklassifizierung, semantische Segmentierung und Vorhersage menschlicher Bewegungsverläufe. Bemerkenswerterweise verbessert unser Ansatz auf dem wettbewerbsfähigen ImageNet-Benchmark die Leistung und reduziert gleichzeitig den Äquivarianzfehler.

English

Equivariance is a fundamental property in computer vision models, yet strict equivariance is rarely satisfied in real-world data, which can limit a model's performance. Controlling the degree of equivariance is therefore desirable. We propose a general framework for constructing soft equivariant models by projecting the model weights into a designed subspace. The method applies to any pre-trained architecture and provides theoretical bounds on the induced equivariance error. Empirically, we demonstrate the effectiveness of our method on multiple pre-trained backbones, including ViT and ResNet, across image classification, semantic segmentation, and human-trajectory prediction tasks. Notably, our approach improves the performance while simultaneously reducing equivariance error on the competitive ImageNet benchmark.

Einstellbare weiche Äquivarianz mit Garantien

Tunable Soft Equivariance with Guarantees

Zusammenfassung

Support