SiamJEPA: JEPA에서 시암 학생 인코더의 역할에 대하여

초록

최근 컴퓨터 비전 및 머신러닝 분야에서 자기 지도 표현 학습(self-supervised representation learning)을 위한 유망한 프레임워크로서 공동 임베딩 예측 아키텍처(JEPAs)가 큰 주목을 받고 있다. 픽셀을 재구성하는 마스크 오토인코더(masked autoencoder)와 달리, JEPA 모델은 마스킹된 영역의 잠재 임베딩(latent embedding)을 예측함으로써 표현을 학습한다. I-JEPA 및 V-JEPA와 같은 기존의 JEPA 기반 방법들은 일반적으로 학생 네트워크(student network)에 단일 인코더(single encoder)를 사용한다. 반면, 학생 네트워크에 시암 인코더(Siamese encoder)를 사용하는 것은 뇌 기반 표현 학습 프레임워크(brain-inspired representation learning framework)와 더 자연스럽게 부합하지만, JEPA 모델에서 이들의 역할은 아직 충분히 탐구되지 않았다. 본 논문에서는 JEPA 기반 표현 학습에서 시암 학생 인코더의 효과를 조사한다. 이를 위해, 지수 이동 평균(EMA) 교사 네트워크(teacher network)를 갖춘 마스킹된 시암 학생 인코더인 SiamJEPA를 제안한다. SiamJEPA는 뇌 기반 표현 학습 모델인 PhiNet의 JEPA 형태로도 볼 수 있다. ImageNet 선형 프로빙(linear probing)에 대한 광범위한 실험을 통해, 시암 인코더가 JEPA 목적 함수에 효과적인 정규화기(regularizer)로 작용하여 표현 분리성(separability)을 향상시키고 학습 초기 단계에서 학습을 가속화함을 입증한다. 또한, SiamJEPA는 제한된 학습 예산 하에서 비교 가능한 단일 인코더 JEPA 변형들을 일관되게 능가하며, 더 긴 학습이 필요한 마스크 오토인코더(MAE)보다 더 높은 선형 프로빙 정확도를 달성한다. 우리의 발견은 시암 학생 인코더가 단순한 아키텍처 선택이 아니라 예측적 표현 학습(predictive representation learning)에 중요한 귀납적 편향(inductive bias)을 구성함을 보여준다. 이러한 결과는 JEPA 기반 모델 설계에 대한 새로운 통찰을 제공하며, 시암 학생 아키텍처를 통합하는 것이 자기 지도 표현 학습을 개선하기 위한 간단하면서도 효과적인 접근법임을 시사한다.

English

Recently, Joint Embedding Predictive Architectures (JEPAs) have attracted significant attention in the computer vision and machine learning communities as a promising framework for self-supervised representation learning. Unlike masked autoencoders that reconstruct pixels, JEPA models learn representations by predicting latent embeddings of masked regions. Existing JEPA-based methods, such as I-JEPA and V-JEPA, typically employ a single encoder in the student network. In contrast, using Siamese encoders for student network is more naturally aligned with brain-inspired representation learning frameworks, yet their role in JEPA models remains largely unexplored. In this paper, we investigate the effect of Siamese student encoders in JEPA-based representation learning. To this end, we propose SiamJEPA, masked Siamese student encoders equipped with an exponential moving average (EMA) teacher network. SiamJEPA can also be viewed as a JEPA formulation of the brain-inspired representation learning model PhiNet. Through extensive experiments on ImageNet linear probing, we demonstrate that Siamese encoders act as an effective regularizer for the JEPA objective, improving representation separability and accelerating learning during the early stages of training. Furthermore, SiamJEPA consistently outperforms comparable single-encoder JEPA variants under limited training budgets and achieves higher linear probing accuracy than Masked Autoencoders (MAE) which requires longer training. Our findings reveal that Siamese student encoders are not merely an architectural choice but constitute an important inductive bias for predictive representation learning. These results provide new insights into the design of JEPA-based models and suggest that incorporating Siamese student architectures offers a simple yet effective approach for improving self-supervised representation learning.