SiamJEPA：JEPAにおけるシームーズな生徒エンコーダの役割について

要旨

近年、Joint Embedding Predictive Architectures（JEPA）は、自己教師あり表現学習の有望なフレームワークとして、コンピュータビジョンおよび機械学習コミュニティで大きな注目を集めています。ピクセルを再構成するマスク付きオートエンコーダとは異なり、JEPAモデルはマスクされた領域の潜在埋め込みを予測することで表現を学習します。既存のJEPAベースの手法（I-JEPAやV-JEPAなど）は、通常、生徒ネットワークに単一のエンコーダを採用しています。対照的に、生徒ネットワークにSiameseエンコーダを使用することは、脳に着想を得た表現学習フレームワークとより自然に整合しますが、JEPAモデルにおけるその役割はほとんど未解明のままです。本論文では、JEPAベースの表現学習におけるSiamese生徒エンコーダの効果を調査します。この目的のために、指数移動平均（EMA）教師ネットワークを備えたマスク付きSiamese生徒エンコーダであるSiamJEPAを提案します。SiamJEPAは、脳に着想を得た表現学習モデルPhiNetのJEPA定式化としても捉えることができます。ImageNetの線形プローブを用いた広範な実験を通じて、SiameseエンコーダがJEPA目的関数に対する効果的な正則化として機能し、表現の分離性を向上させ、訓練初期の学習を加速することを示します。さらに、SiamJEPAは限られた訓練予算の下で同等の単一エンコーダJEPA変種を一貫して上回り、より長い訓練を必要とするMasked Autoencoders（MAE）よりも高い線形プローブ精度を達成します。我々の知見は、Siamese生徒エンコーダが単なるアーキテクチャの選択ではなく、予測的表現学習にとって重要な帰納的バイアスを構成することを明らかにしています。これらの結果は、JEPAベースのモデルの設計に新たな洞察を提供し、Siamese生徒アーキテクチャを組み込むことが自己教師あり表現学習を改善するためのシンプルかつ効果的なアプローチであることを示唆しています。

English

Recently, Joint Embedding Predictive Architectures (JEPAs) have attracted significant attention in the computer vision and machine learning communities as a promising framework for self-supervised representation learning. Unlike masked autoencoders that reconstruct pixels, JEPA models learn representations by predicting latent embeddings of masked regions. Existing JEPA-based methods, such as I-JEPA and V-JEPA, typically employ a single encoder in the student network. In contrast, using Siamese encoders for student network is more naturally aligned with brain-inspired representation learning frameworks, yet their role in JEPA models remains largely unexplored. In this paper, we investigate the effect of Siamese student encoders in JEPA-based representation learning. To this end, we propose SiamJEPA, masked Siamese student encoders equipped with an exponential moving average (EMA) teacher network. SiamJEPA can also be viewed as a JEPA formulation of the brain-inspired representation learning model PhiNet. Through extensive experiments on ImageNet linear probing, we demonstrate that Siamese encoders act as an effective regularizer for the JEPA objective, improving representation separability and accelerating learning during the early stages of training. Furthermore, SiamJEPA consistently outperforms comparable single-encoder JEPA variants under limited training budgets and achieves higher linear probing accuracy than Masked Autoencoders (MAE) which requires longer training. Our findings reveal that Siamese student encoders are not merely an architectural choice but constitute an important inductive bias for predictive representation learning. These results provide new insights into the design of JEPA-based models and suggest that incorporating Siamese student architectures offers a simple yet effective approach for improving self-supervised representation learning.