O Guia da Galáxia para o Tokenizador: um Benchmark para Modelos de Fundação Científica

Resumo

A tokenização é central para a adaptação de dados científicos a modelos fundamentais baseados em transformadores, mas seu impacto sobre as representações aprendidas ainda é pouco compreendido. Comparamos quatro estratégias de tokenização — Affine, AIM, JetFormer e VQ-VAE — dentro de uma estrutura unificada de transformadores para imagens astronômicas. Utilizando 640.000 imagens de galáxias do DESI Legacy Survey e um backbone AstroPT compartilhado, avaliamos cada método quanto à fidelidade de reconstrução e à predição de propriedades físicas. Nossos resultados revelam compromissos entre as abordagens. O JetFormer, baseado em fluxo, alcança maior qualidade de reconstrução, enquanto o VQ-VAE apresenta forte desempenho como sonda para propriedades físicas de galáxias. Já Affine e AIM preservam melhor informações morfológicas localizadas. Constatamos que a qualidade da reconstrução e a qualidade da representação são desacopladas, e nenhum método único apresenta desempenho consistentemente superior em todas as tarefas aqui consideradas. Ao embasar nossa avaliação em grandezas físicas medidas independentemente, esperamos que este estudo sirva para destacar o potencial dos dados científicos como base para a construção de benchmarks interpretáveis para modelos fundamentais.

English

Tokenization is central to adapting scientific data for transformer-based foundation models, yet its impact on learned representations remains poorly understood. We compare four tokenization strategies, Affine, AIM, JetFormer, and VQ-VAE, within a unified transformer framework for astronomical imaging. Using 640,000 galaxy images from the DESI Legacy Survey and a shared AstroPT backbone, we evaluate each method on reconstruction fidelity and prediction of physical properties. Our results reveal trade-offs across approaches. The flow-based JetFormer achieves higher reconstruction quality, while VQ-VAE yields strong probe performance for galaxy physical properties. Affine and AIM better preserve localized morphological information. We find that reconstruction and representation quality are decoupled, and no single method consistently performs best across the tasks considered here. By grounding our evaluation in independently measured physical quantities, we hope this study serves to highlight the potential of scientific data as a basis for constructing interpretable benchmarks for foundation models.