Innovator-VL: Мультимодальная большая языковая модель для научных открытий

Innovator-VL: A Multimodal Large Language Model for Scientific Discovery

January 27, 2026

Авторы: Zichen Wen, Boxue Yang, Shuang Chen, Yaojie Zhang, Yuhang Han, Junlong Ke, Cong Wang, Yicheng Fu, Jiawang Zhao, Jiangchao Yao, Xi Fang, Zhen Wang, Henxing Cai, Lin Yao, Zhifeng Gao, Yanhui Hong, Nang Yuan, Yixuan Li, Guojiang Zhao, Haoyi Tao, Nan Wang, Han Lyu, Guolin Ke, Ning Liao, Xiaoxing Wang, Kai Chen, Zhiyu Li, Feiyu Xiong, Sihan Hu, Kun Chen, Yanfeng Wang, Weinan E, Linfeng Zhang, Linfeng Zhang

cs.AI

Аннотация

Мы представляем Innovator-VL — научную мультимодальную большую языковую модель, разработанную для углубления понимания и способности к рассуждению в различных научных областях при сохранении высокой производительности на общих визуальных задачах. В противовес тенденции полагаться на масштабное предметно-ориентированное предварительное обучение и непрозрачные конвейеры, наша работа демонстрирует, что принципиально продуманный дизайн обучения и прозрачная методология позволяют достичь высокой научной интеллектуальности при существенно сокращенных требованиях к данным. (i) Во-первых, мы предлагаем полностью прозрачный, воспроизводимый от начала до конца конвейер обучения, охватывающий сбор данных, их очистку, предварительную обработку, контролируемое тонкое настраивание, обучение с подкреплением и оценку, вместе с детальными рецептами оптимизации. Это способствует систематическому расширению сообществом. (ii) Во-вторых, Innovator-VL демонстрирует замечательную эффективность использования данных, достигая конкурентоспособных результатов на различных научных задачах с использованием менее пяти миллионов отобранных образцов без масштабного предварительного обучения. Эти результаты подчеркивают, что эффективные рассуждения могут быть достигнуты за счет принципиального отбора данных, а не безразборного масштабирования. (iii) В-третьих, Innovator-VL показывает сильную способность к обобщению, демонстрируя конкурентоспособную производительность на общих визуальных, мультимодальных логических и научных тестах. Это указывает на то, что научная специализация может быть интегрирована в единую модель без ущерба для общецелевых возможностей. Наш опыт свидетельствует, что эффективные, воспроизводимые и высокопроизводительные научные мультимодальные модели могут быть созданы даже без крупномасштабных данных, что закладывает практическую основу для будущих исследований.

English

We present Innovator-VL, a scientific multimodal large language model designed to advance understanding and reasoning across diverse scientific domains while maintaining excellent performance on general vision tasks. Contrary to the trend of relying on massive domain-specific pretraining and opaque pipelines, our work demonstrates that principled training design and transparent methodology can yield strong scientific intelligence with substantially reduced data requirements. (i) First, we provide a fully transparent, end-to-end reproducible training pipeline, covering data collection, cleaning, preprocessing, supervised fine-tuning, reinforcement learning, and evaluation, along with detailed optimization recipes. This facilitates systematic extension by the community. (ii) Second, Innovator-VL exhibits remarkable data efficiency, achieving competitive performance on various scientific tasks using fewer than five million curated samples without large-scale pretraining. These results highlight that effective reasoning can be achieved through principled data selection rather than indiscriminate scaling. (iii) Third, Innovator-VL demonstrates strong generalization, achieving competitive performance on general vision, multimodal reasoning, and scientific benchmarks. This indicates that scientific alignment can be integrated into a unified model without compromising general-purpose capabilities. Our practices suggest that efficient, reproducible, and high-performing scientific multimodal models can be built even without large-scale data, providing a practical foundation for future research.