토크나이저에 관한 은하계 안내서: 과학 파운데이션 모델을 위한 벤치마크

초록

토큰화는 트랜스포머 기반 파운데이션 모델에 과학 데이터를 적용하는 데 핵심적인 과정이지만, 학습된 표현에 미치는 영향은 여전히 잘 이해되지 않고 있다. 본 연구에서는 천문 이미징을 위한 통합 트랜스포머 프레임워크 내에서 Affine, AIM, JetFormer, VQ-VAE의 네 가지 토큰화 전략을 비교한다. DESI 레거시 조사(DESI Legacy Survey)의 64만 개 은하 이미지와 공유된 AstroPT 백본을 사용하여, 각 방법을 재구성 충실도와 물리적 특성 예측 측면에서 평가한다. 분석 결과, 접근법 간에 상충 관계가 존재함을 확인했다. 흐름 기반 JetFormer는 더 높은 재구성 품질을 달성한 반면, VQ-VAE는 은하 물리적 특성에 대해 강력한 프로브 성능을 보였다. Affine과 AIM은 국소적 형태 정보를 더 잘 보존했다. 재구성 품질과 표현 품질은 분리되어 있으며, 본 연구에서 고려한 과제 전반에 걸쳐 단일 방법이 일관되게 최고의 성능을 보이지는 않는다는 사실을 발견했다. 독립적으로 측정된 물리량에 기반하여 평가를 수행함으로써, 본 연구가 파운데이션 모델을 위한 해석 가능한 벤치마크 구축에 과학 데이터가 잠재적 기반이 될 수 있음을 조명하는 계기가 되기를 기대한다.

English

Tokenization is central to adapting scientific data for transformer-based foundation models, yet its impact on learned representations remains poorly understood. We compare four tokenization strategies, Affine, AIM, JetFormer, and VQ-VAE, within a unified transformer framework for astronomical imaging. Using 640,000 galaxy images from the DESI Legacy Survey and a shared AstroPT backbone, we evaluate each method on reconstruction fidelity and prediction of physical properties. Our results reveal trade-offs across approaches. The flow-based JetFormer achieves higher reconstruction quality, while VQ-VAE yields strong probe performance for galaxy physical properties. Affine and AIM better preserve localized morphological information. We find that reconstruction and representation quality are decoupled, and no single method consistently performs best across the tasks considered here. By grounding our evaluation in independently measured physical quantities, we hope this study serves to highlight the potential of scientific data as a basis for constructing interpretable benchmarks for foundation models.