Галактическое руководство по токенизатору: бенчмарк для научных фундаментальных моделей

Аннотация

Токенизация является ключевым этапом адаптации научных данных для трансформерных базовых моделей, однако её влияние на получаемые представления остаётся слабо изученным. Мы сравниваем четыре стратегии токенизации: Affine, AIM, JetFormer и VQ-VAE — в рамках единой трансформерной архитектуры для астрономических изображений. Используя 640 000 изображений галактик из обзора DESI Legacy Survey и общую основу AstroPT, мы оцениваем каждый метод по точности восстановления и предсказанию физических свойств. Наши результаты выявляют компромиссы между подходами. Потоковый JetFormer достигает более высокого качества восстановления, тогда как VQ-VAE демонстрирует высокую эффективность зонда для физических свойств галактик. Affine и AIM лучше сохраняют информацию о локальной морфологии. Мы обнаруживаем, что качество восстановления и качество представлений разъединены, и ни один метод неизменно не показывает наилучших результатов во всех рассмотренных задачах. Обосновывая нашу оценку независимо измеренными физическими величинами, мы надеемся, что данное исследование послужит демонстрацией потенциала научных данных как основы для создания интерпретируемых эталонов для базовых моделей.

English

Tokenization is central to adapting scientific data for transformer-based foundation models, yet its impact on learned representations remains poorly understood. We compare four tokenization strategies, Affine, AIM, JetFormer, and VQ-VAE, within a unified transformer framework for astronomical imaging. Using 640,000 galaxy images from the DESI Legacy Survey and a shared AstroPT backbone, we evaluate each method on reconstruction fidelity and prediction of physical properties. Our results reveal trade-offs across approaches. The flow-based JetFormer achieves higher reconstruction quality, while VQ-VAE yields strong probe performance for galaxy physical properties. Affine and AIM better preserve localized morphological information. We find that reconstruction and representation quality are decoupled, and no single method consistently performs best across the tasks considered here. By grounding our evaluation in independently measured physical quantities, we hope this study serves to highlight the potential of scientific data as a basis for constructing interpretable benchmarks for foundation models.