SiamJEPA: Sobre o Papel dos Codificadores Alunos Siameses no JEPA

Resumo

Recentemente, as Arquiteturas Preditivas de Incorporação Conjunta (JEPAs) têm atraído atenção significativa nas comunidades de visão computacional e aprendizado de máquina como um framework promissor para aprendizado de representação auto-supervisionado. Diferentemente dos autoencoders mascarados que reconstroem pixels, os modelos JEPA aprendem representações prevendo as incorporações latentes de regiões mascaradas. Métodos baseados em JEPA existentes, como I-JEPA e V-JEPA, tipicamente empregam um único codificador na rede estudante. Em contraste, o uso de codificadores siameses para a rede estudante é mais naturalmente alinhado com frameworks de aprendizado de representação inspirados no cérebro, porém seu papel em modelos JEPA permanece amplamente inexplorado. Neste artigo, investigamos o efeito dos codificadores estudantes siameses no aprendizado de representação baseado em JEPA. Para este fim, propomos o SiamJEPA, codificadores estudantes siameses mascarados equipados com uma rede professora de média móvel exponencial (MME). O SiamJEPA também pode ser visto como uma formulação JEPA do modelo de aprendizado de representação inspirado no cérebro PhiNet. Por meio de experimentos extensivos de sondagem linear no ImageNet, demonstramos que codificadores siameses atuam como um regularizador eficaz para o objetivo JEPA, melhorando a separabilidade das representações e acelerando o aprendizado durante as fases iniciais do treinamento. Além disso, o SiamJEPA supera consistentemente variantes JEPA comparáveis de codificador único sob orçamentos de treinamento limitados e atinge uma precisão de sondagem linear maior do que os Autoencoders Mascarados (MAE), que exigem treinamento mais longo. Nossos achados revelam que codificadores estudantes siameses não são meramente uma escolha arquitetural, mas constituem um viés indutivo importante para o aprendizado preditivo de representação. Esses resultados fornecem novos insights sobre o design de modelos baseados em JEPA e sugerem que a incorporação de arquiteturas estudantes siamesas oferece uma abordagem simples, porém eficaz, para melhorar o aprendizado de representação auto-supervisionado.

English

Recently, Joint Embedding Predictive Architectures (JEPAs) have attracted significant attention in the computer vision and machine learning communities as a promising framework for self-supervised representation learning. Unlike masked autoencoders that reconstruct pixels, JEPA models learn representations by predicting latent embeddings of masked regions. Existing JEPA-based methods, such as I-JEPA and V-JEPA, typically employ a single encoder in the student network. In contrast, using Siamese encoders for student network is more naturally aligned with brain-inspired representation learning frameworks, yet their role in JEPA models remains largely unexplored. In this paper, we investigate the effect of Siamese student encoders in JEPA-based representation learning. To this end, we propose SiamJEPA, masked Siamese student encoders equipped with an exponential moving average (EMA) teacher network. SiamJEPA can also be viewed as a JEPA formulation of the brain-inspired representation learning model PhiNet. Through extensive experiments on ImageNet linear probing, we demonstrate that Siamese encoders act as an effective regularizer for the JEPA objective, improving representation separability and accelerating learning during the early stages of training. Furthermore, SiamJEPA consistently outperforms comparable single-encoder JEPA variants under limited training budgets and achieves higher linear probing accuracy than Masked Autoencoders (MAE) which requires longer training. Our findings reveal that Siamese student encoders are not merely an architectural choice but constitute an important inductive bias for predictive representation learning. These results provide new insights into the design of JEPA-based models and suggest that incorporating Siamese student architectures offers a simple yet effective approach for improving self-supervised representation learning.