La guía de la galaxia para el tokenizador: Un punto de referencia para modelos fundacionales científicos

Resumen

La tokenización es fundamental para adaptar datos científicos a modelos fundacionales basados en transformers, pero su impacto en las representaciones aprendidas sigue siendo poco comprendido. Comparamos cuatro estrategias de tokenización —Affine, AIM, JetFormer y VQ-VAE— dentro de un marco unificado de transformers para imágenes astronómicas. Utilizando 640 000 imágenes de galaxias del DESI Legacy Survey y una arquitectura base AstroPT compartida, evaluamos cada método en términos de fidelidad de reconstrucción y predicción de propiedades físicas. Nuestros resultados revelan compromisos entre los enfoques. El JetFormer basado en flujos logra una mayor calidad de reconstrucción, mientras que VQ-VAE ofrece un rendimiento sólido como sonda para las propiedades físicas de las galaxias. Affine y AIM preservan mejor la información morfológica localizada. Encontramos que la calidad de la reconstrucción y la de la representación están desacopladas, y ningún método único se desempeña consistentemente mejor en todas las tareas consideradas aquí. Al fundamentar nuestra evaluación en cantidades físicas medidas de forma independiente, esperamos que este estudio sirva para destacar el potencial de los datos científicos como base para construir referencias interpretables para modelos fundacionales.

English

Tokenization is central to adapting scientific data for transformer-based foundation models, yet its impact on learned representations remains poorly understood. We compare four tokenization strategies, Affine, AIM, JetFormer, and VQ-VAE, within a unified transformer framework for astronomical imaging. Using 640,000 galaxy images from the DESI Legacy Survey and a shared AstroPT backbone, we evaluate each method on reconstruction fidelity and prediction of physical properties. Our results reveal trade-offs across approaches. The flow-based JetFormer achieves higher reconstruction quality, while VQ-VAE yields strong probe performance for galaxy physical properties. Affine and AIM better preserve localized morphological information. We find that reconstruction and representation quality are decoupled, and no single method consistently performs best across the tasks considered here. By grounding our evaluation in independently measured physical quantities, we hope this study serves to highlight the potential of scientific data as a basis for constructing interpretable benchmarks for foundation models.