Le Guide Galactique du Tokenizer : Un Benchmark pour les Modèles de Fondation Scientifiques

Résumé

La tokenisation est centrale pour l'adaptation des données scientifiques aux modèles de fondation basés sur les transformers, mais son impact sur les représentations apprises reste mal compris. Nous comparons quatre stratégies de tokenisation — Affine, AIM, JetFormer et VQ-VAE — dans un cadre unifié de transformer pour l'imagerie astronomique. En utilisant 640 000 images de galaxies du DESI Legacy Survey et un backbone AstroPT partagé, nous évaluons chaque méthode sur la fidélité de reconstruction et la prédiction des propriétés physiques. Nos résultats révèlent des compromis entre les approches. Le JetFormer basé sur le flow atteint une meilleure qualité de reconstruction, tandis que le VQ-VAE offre une performance de sonde élevée pour les propriétés physiques des galaxies. Affine et AIM préservent mieux l'information morphologique localisée. Nous constatons que la qualité de reconstruction et de représentation sont découplées, et qu'aucune méthode unique ne performe systématiquement le mieux sur l'ensemble des tâches considérées ici. En ancrant notre évaluation dans des quantités physiques mesurées indépendamment, nous espérons que cette étude sert à souligner le potentiel des données scientifiques comme base pour la construction de benchmarks interprétables pour les modèles de fondation.

English

Tokenization is central to adapting scientific data for transformer-based foundation models, yet its impact on learned representations remains poorly understood. We compare four tokenization strategies, Affine, AIM, JetFormer, and VQ-VAE, within a unified transformer framework for astronomical imaging. Using 640,000 galaxy images from the DESI Legacy Survey and a shared AstroPT backbone, we evaluate each method on reconstruction fidelity and prediction of physical properties. Our results reveal trade-offs across approaches. The flow-based JetFormer achieves higher reconstruction quality, while VQ-VAE yields strong probe performance for galaxy physical properties. Affine and AIM better preserve localized morphological information. We find that reconstruction and representation quality are decoupled, and no single method consistently performs best across the tasks considered here. By grounding our evaluation in independently measured physical quantities, we hope this study serves to highlight the potential of scientific data as a basis for constructing interpretable benchmarks for foundation models.