SiamJEPA: Zur Rolle der siamesischen Student-Encoder in JEPA

Zusammenfassung

In den letzten Jahren haben Joint Embedding Predictive Architectures (JEPAs) als vielversprechender Rahmen für selbstüberwachtes Repräsentationslernen in den Bereichen Computer Vision und maschinelles Lernen erhebliche Aufmerksamkeit erregt. Im Gegensatz zu maskierten Autoencodern, die Pixel rekonstruieren, lernen JEPA-Modelle Repräsentationen, indem sie latente Einbettungen maskierter Regionen vorhersagen. Bestehende JEPA-basierte Methoden wie I-JEPA und V-JEPA verwenden typischerweise einen einzelnen Encoder im Studenten-Netzwerk. Im Gegensatz dazu ist die Verwendung siamesischer Encoder für das Studenten-Netzwerk natürlicher mit hirn-inspirierten Repräsentationslern-Rahmenwerken verbunden, doch ihre Rolle in JEPA-Modellen bleibt weitgehend unerforscht. In dieser Arbeit untersuchen wir die Wirkung siamesischer Studenten-Encoder im JEPA-basierten Repräsentationslernen. Zu diesem Zweck schlagen wir SiamJEPA vor, maskierte siamesische Studenten-Encoder, die mit einem exponentiell gleitenden Mittelwert (EMA) Lehrer-Netzwerk ausgestattet sind. SiamJEPA kann auch als eine JEPA-Formulierung des hirn-inspirierten Repräsentationslernmodells PhiNet betrachtet werden. Durch umfangreiche Experimente mit Linearem Probing auf ImageNet zeigen wir, dass siamesische Encoder als effektiver Regularisierer für das JEPA-Ziel fungieren, die Trennbarkeit von Repräsentationen verbessern und das Lernen in frühen Trainingsphasen beschleunigen. Darüber hinaus übertrifft SiamJEPA durchgängig vergleichbare JEPA-Varianten mit einem einzelnen Encoder unter begrenzten Trainingsbudgets und erreicht eine höhere Lineare-Probing-Genauigkeit als Maskierte Autoencoder (MAE), die längeres Training erfordern. Unsere Ergebnisse zeigen, dass siamesische Studenten-Encoder nicht nur eine architektonische Wahl sind, sondern eine wichtige induktive Verzerrung für prädiktives Repräsentationslernen darstellen. Diese Erkenntnisse liefern neue Einblicke in das Design JEPA-basierter Modelle und legen nahe, dass die Integration siamesischer Studenten-Architekturen einen einfachen, aber effektiven Ansatz zur Verbesserung des selbstüberwachten Repräsentationslernens bietet.

English

Recently, Joint Embedding Predictive Architectures (JEPAs) have attracted significant attention in the computer vision and machine learning communities as a promising framework for self-supervised representation learning. Unlike masked autoencoders that reconstruct pixels, JEPA models learn representations by predicting latent embeddings of masked regions. Existing JEPA-based methods, such as I-JEPA and V-JEPA, typically employ a single encoder in the student network. In contrast, using Siamese encoders for student network is more naturally aligned with brain-inspired representation learning frameworks, yet their role in JEPA models remains largely unexplored. In this paper, we investigate the effect of Siamese student encoders in JEPA-based representation learning. To this end, we propose SiamJEPA, masked Siamese student encoders equipped with an exponential moving average (EMA) teacher network. SiamJEPA can also be viewed as a JEPA formulation of the brain-inspired representation learning model PhiNet. Through extensive experiments on ImageNet linear probing, we demonstrate that Siamese encoders act as an effective regularizer for the JEPA objective, improving representation separability and accelerating learning during the early stages of training. Furthermore, SiamJEPA consistently outperforms comparable single-encoder JEPA variants under limited training budgets and achieves higher linear probing accuracy than Masked Autoencoders (MAE) which requires longer training. Our findings reveal that Siamese student encoders are not merely an architectural choice but constitute an important inductive bias for predictive representation learning. These results provide new insights into the design of JEPA-based models and suggest that incorporating Siamese student architectures offers a simple yet effective approach for improving self-supervised representation learning.