De Gids van de Melkweg voor de Tokenizer: Een Benchmark voor Wetenschappelijke Fundamentmodellen

Samenvatting

Tokenisatie staat centraal bij het aanpassen van wetenschappelijke gegevens voor transformer-gebaseerde fundamentmodellen, maar de impact ervan op geleerde representaties is nog slecht begrepen. We vergelijken vier tokenisatiestrategieën, Affine, AIM, JetFormer en VQ-VAE, binnen een uniform transformerraamwerk voor astronomische beeldvorming. Met behulp van 640.000 sterrenstelselafbeeldingen uit de DESI Legacy Survey en een gedeelde AstroPT-ruggengraat evalueren we elke methode op reconstructiegetrouwheid en voorspelling van fysische eigenschappen. Onze resultaten onthullen afwegingen tussen de benaderingen. De stroomgebaseerde JetFormer bereikt een hogere reconstructiekwaliteit, terwijl VQ-VAE sterke sondeprestaties levert voor fysische eigenschappen van sterrenstelsels. Affine en AIM behouden beter gelokaliseerde morfologische informatie. We vinden dat reconstructie- en representatiekwaliteit ontkoppeld zijn, en geen enkele methode consequent het beste presteert over de hier beschouwde taken. Door onze evaluatie te baseren op onafhankelijk gemeten fysische grootheden, hopen we dat deze studie het potentieel van wetenschappelijke gegevens als basis voor het construeren van interpreteerbare benchmarks voor fundamentmodellen benadrukt.

English

Tokenization is central to adapting scientific data for transformer-based foundation models, yet its impact on learned representations remains poorly understood. We compare four tokenization strategies, Affine, AIM, JetFormer, and VQ-VAE, within a unified transformer framework for astronomical imaging. Using 640,000 galaxy images from the DESI Legacy Survey and a shared AstroPT backbone, we evaluate each method on reconstruction fidelity and prediction of physical properties. Our results reveal trade-offs across approaches. The flow-based JetFormer achieves higher reconstruction quality, while VQ-VAE yields strong probe performance for galaxy physical properties. Affine and AIM better preserve localized morphological information. We find that reconstruction and representation quality are decoupled, and no single method consistently performs best across the tasks considered here. By grounding our evaluation in independently measured physical quantities, we hope this study serves to highlight the potential of scientific data as a basis for constructing interpretable benchmarks for foundation models.