Una rassegna sui grandi modelli linguistici scientifici: dalle fondamenta dei dati alle frontiere degli agenti

A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers

August 28, 2025

Autori: Ming Hu, Chenglong Ma, Wei Li, Wanghan Xu, Jiamin Wu, Jucheng Hu, Tianbin Li, Guohang Zhuang, Jiaqi Liu, Yingzhou Lu, Ying Chen, Chaoyang Zhang, Cheng Tan, Jie Ying, Guocheng Wu, Shujian Gao, Pengcheng Chen, Jiashi Lin, Haitao Wu, Lulu Chen, Fengxiang Wang, Yuanyuan Zhang, Xiangyu Zhao, Feilong Tang, Encheng Su, Junzhi Ning, Xinyao Liu, Ye Du, Changkai Ji, Cheng Tang, Huihui Xu, Ziyang Chen, Ziyan Huang, Jiyao Liu, Pengfei Jiang, Yizhou Wang, Chen Tang, Jianyu Wu, Yuchen Ren, Siyuan Yan, Zhonghua Wang, Zhongxing Xu, Shiyan Su, Shangquan Sun, Runkai Zhao, Zhisheng Zhang, Yu Liu, Fudi Wang, Yuanfeng Ji, Yanzhou Su, Hongming Shan, Chunmei Feng, Jiahao Xu, Jiangtao Yan, Wenhao Tang, Diping Song, Lihao Liu, Yanyan Huang, Lequan Yu, Bin Fu, Shujun Wang, Xiaomeng Li, Xiaowei Hu, Yun Gu, Ben Fei, Zhongying Deng, Benyou Wang, Yuewen Cao, Minjie Shen, Haodong Duan, Jie Xu, Yirong Chen, Fang Yan, Hongxia Hao, Jielan Li, Jiajun Du, Yanbo Wang, Imran Razzak, Chi Zhang, Lijun Wu, Conghui He, Zhaohui Lu, Jinhai Huang, Yihao Liu, Fenghua Ling, Yuqiang Li, Aoran Wang, Qihao Zheng, Nanqing Dong, Tianfan Fu, Dongzhan Zhou, Yan Lu, Wenlong Zhang, Jin Ye, Jianfei Cai, Wanli Ouyang, Yu Qiao, Zongyuan Ge, Shixiang Tang, Junjun He, Chunfeng Song, Lei Bai, Bowen Zhou

cs.AI

Abstract

I Large Language Models scientifici (Sci-LLMs) stanno trasformando il modo in cui la conoscenza viene rappresentata, integrata e applicata nella ricerca scientifica, sebbene il loro progresso sia influenzato dalla natura complessa dei dati scientifici. Questa rassegna presenta una sintesi completa e incentrata sui dati che ridefinisce lo sviluppo degli Sci-LLMs come una co-evoluzione tra i modelli e il loro substrato di dati sottostante. Formuliamo una tassonomia unificata dei dati scientifici e un modello gerarchico della conoscenza scientifica, enfatizzando le sfide multimodali, multiscala e specifiche del dominio che differenziano i corpora scientifici dai dataset generali di elaborazione del linguaggio naturale. Esaminiamo sistematicamente i recenti Sci-LLMs, dai modelli general-purpose a quelli specializzati in diverse discipline scientifiche, insieme a un'analisi estesa di oltre 270 dataset pre/post-training, dimostrando perché gli Sci-LLMs pongono richieste distinte — corpora eterogenei, multiscala e carichi di incertezza che richiedono rappresentazioni che preservino l'invarianza di dominio e abilitino il ragionamento cross-modale. Per quanto riguarda la valutazione, esaminiamo oltre 190 dataset di benchmark e tracciamo un passaggio da esami statici verso valutazioni orientate ai processi e alla scoperta, con protocolli di valutazione avanzati. Queste analisi incentrate sui dati evidenziano problemi persistenti nello sviluppo dei dati scientifici e discutono soluzioni emergenti che coinvolgono pipeline di annotazione semi-automatizzate e validazione esperta. Infine, delineiamo un cambiamento di paradigma verso sistemi a ciclo chiuso in cui agenti autonomi basati su Sci-LLMs sperimentano attivamente, validano e contribuiscono a una base di conoscenza vivente e in evoluzione. Collettivamente, questo lavoro fornisce una roadmap per costruire sistemi di intelligenza artificiale (AI) affidabili e in continua evoluzione che funzionino come veri partner nell'accelerare la scoperta scientifica.

English

Scientific Large Language Models (Sci-LLMs) are transforming how knowledge is represented, integrated, and applied in scientific research, yet their progress is shaped by the complex nature of scientific data. This survey presents a comprehensive, data-centric synthesis that reframes the development of Sci-LLMs as a co-evolution between models and their underlying data substrate. We formulate a unified taxonomy of scientific data and a hierarchical model of scientific knowledge, emphasizing the multimodal, cross-scale, and domain-specific challenges that differentiate scientific corpora from general natural language processing datasets. We systematically review recent Sci-LLMs, from general-purpose foundations to specialized models across diverse scientific disciplines, alongside an extensive analysis of over 270 pre-/post-training datasets, showing why Sci-LLMs pose distinct demands -- heterogeneous, multi-scale, uncertainty-laden corpora that require representations preserving domain invariance and enabling cross-modal reasoning. On evaluation, we examine over 190 benchmark datasets and trace a shift from static exams toward process- and discovery-oriented assessments with advanced evaluation protocols. These data-centric analyses highlight persistent issues in scientific data development and discuss emerging solutions involving semi-automated annotation pipelines and expert validation. Finally, we outline a paradigm shift toward closed-loop systems where autonomous agents based on Sci-LLMs actively experiment, validate, and contribute to a living, evolving knowledge base. Collectively, this work provides a roadmap for building trustworthy, continually evolving artificial intelligence (AI) systems that function as a true partner in accelerating scientific discovery.