AION-1: Универсальная фундаментальная модель для астрономических наук

AION-1: Omnimodal Foundation Model for Astronomical Sciences

October 20, 2025

Авторы: Liam Parker, Francois Lanusse, Jeff Shen, Ollie Liu, Tom Hehir, Leopoldo Sarra, Lucas Meyer, Micah Bowles, Sebastian Wagner-Carena, Helen Qu, Siavash Golkar, Alberto Bietti, Hatim Bourfoune, Nathan Casserau, Pierre Cornette, Keiya Hirashima, Geraud Krawezik, Ruben Ohana, Nicholas Lourie, Michael McCabe, Rudy Morel, Payel Mukhopadhyay, Mariel Pettee, Bruno Regaldo-Saint Blancard, Kyunghyun Cho, Miles Cranmer, Shirley Ho

cs.AI

Аннотация

Хотя базовые модели продемонстрировали перспективность в различных областях, астрономия до сих пор не имеет единой структуры для совместного моделирования её чрезвычайно разнообразных модальностей данных. В данной статье мы представляем AION-1 — семейство крупномасштабных мультимодальных базовых моделей для астрономии. AION-1 интегрирует гетерогенные данные изображений, спектроскопии и скалярные данные с использованием двухэтапной архитектуры: модально-специфичной токенизации, за которой следует трансформерное маскированное моделирование кросс-модальных последовательностей токенов. Модель предварительно обучается на пяти крупномасштабных обзорах: Legacy Survey, Hyper Suprime-Cam (HSC), Sloan Digital Sky Survey (SDSS), Dark Energy Spectroscopic Instrument (DESI) и Gaia. Эти данные охватывают более 200 миллионов наблюдений звёзд, галактик и квазаров. С использованием одного замороженного энкодера AION-1 демонстрирует высокие результаты на широком спектре задач, включая оценку свойств галактик и звёзд, классификацию морфологии галактик, поиск по сходству, сегментацию изображений галактик и спектральное супер-разрешение. Мы выпускаем варианты модели AION-1 с количеством параметров от 300 миллионов до 3,1 миллиарда. Помимо астрономии, AION-1 предоставляет масштабируемый шаблон для мультимодальных научных базовых моделей, способных бесшовно интегрировать зашумлённые, инструментально-специфичные наблюдения. Весь код, токенизаторы, предварительно обученные веса и лёгкий набор для оценки выпускаются под открытой лицензией.

English

While foundation models have shown promise across a variety of fields, astronomy still lacks a unified framework for joint modeling across its highly diverse data modalities. In this paper, we present AION-1, a family of large-scale multimodal foundation models for astronomy. AION-1 integrates heterogeneous imaging, spectroscopic, and scalar data using a two-stage architecture: modality-specific tokenization followed by transformer-based masked modeling of cross-modal token sequences. The model is pretrained on five large-scale surveys: Legacy Survey, Hyper Suprime-Cam (HSC), Sloan Digital Sky Survey (SDSS), Dark Energy Spectroscopic Instrument (DESI), and Gaia. These span more than 200 million observations of stars, galaxies, and quasars. With a single frozen encoder, AION-1 achieves strong results on a broad suite of downstream tasks, including galaxy and stellar property estimation, galaxy morphology classification, similarity-based retrieval, galaxy image segmentation, and spectral super-resolution. We release AION-1 model variants ranging from 300 M to 3.1 B parameters. Beyond astronomy, AION-1 provides a scalable blueprint for multimodal scientific foundation models that can seamlessly integrate noisy, instrument-specific observations. All code, tokenizers, pretrained weights, and a lightweight evaluation suite are released under an open-source license.