Der Leitfaden der Galaxie zum Tokenizer: Ein Benchmark für wissenschaftliche Grundlagenmodelle

Zusammenfassung

Die Tokenisierung ist zentral für die Anpassung wissenschaftlicher Daten an transformer-basierte Foundation-Modelle, dennoch ist ihr Einfluss auf gelernte Repräsentationen noch wenig verstanden. Wir vergleichen vier Tokenisierungsstrategien – Affine, AIM, JetFormer und VQ-VAE – innerhalb eines einheitlichen Transformer-Rahmens für die astronomische Bildgebung. Unter Verwendung von 640.000 Galaxiebildern aus der DESI Legacy Survey und einer gemeinsamen AstroPT-Architektur bewerten wir jede Methode hinsichtlich der Rekonstruktionstreue und der Vorhersage physikalischer Eigenschaften. Unsere Ergebnisse zeigen Zielkonflikte zwischen den Ansätzen. Der flussbasierte JetFormer erzielt eine höhere Rekonstruktionsqualität, während VQ-VAE eine starke Sondenleistung für die physikalischen Eigenschaften von Galaxien liefert. Affine und AIM bewahren besser lokalisierte morphologische Informationen. Wir stellen fest, dass Rekonstruktions- und Repräsentationsqualität entkoppelt sind und keine einzelne Methode bei den hier betrachteten Aufgaben durchgängig am besten abschneidet. Indem wir unsere Bewertung auf unabhängig gemessene physikalische Größen stützen, hoffen wir, dass diese Studie das Potenzial wissenschaftlicher Daten als Grundlage für die Konstruktion interpretierbarer Benchmarks für Foundation-Modelle aufzeigt.

English

Tokenization is central to adapting scientific data for transformer-based foundation models, yet its impact on learned representations remains poorly understood. We compare four tokenization strategies, Affine, AIM, JetFormer, and VQ-VAE, within a unified transformer framework for astronomical imaging. Using 640,000 galaxy images from the DESI Legacy Survey and a shared AstroPT backbone, we evaluate each method on reconstruction fidelity and prediction of physical properties. Our results reveal trade-offs across approaches. The flow-based JetFormer achieves higher reconstruction quality, while VQ-VAE yields strong probe performance for galaxy physical properties. Affine and AIM better preserve localized morphological information. We find that reconstruction and representation quality are decoupled, and no single method consistently performs best across the tasks considered here. By grounding our evaluation in independently measured physical quantities, we hope this study serves to highlight the potential of scientific data as a basis for constructing interpretable benchmarks for foundation models.