Una Revisión de los Modelos de Lenguaje Científico a Gran Escala: Desde los Fundamentos de Datos hasta las Fronteras de los Agentes

A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers

August 28, 2025

Autores: Ming Hu, Chenglong Ma, Wei Li, Wanghan Xu, Jiamin Wu, Jucheng Hu, Tianbin Li, Guohang Zhuang, Jiaqi Liu, Yingzhou Lu, Ying Chen, Chaoyang Zhang, Cheng Tan, Jie Ying, Guocheng Wu, Shujian Gao, Pengcheng Chen, Jiashi Lin, Haitao Wu, Lulu Chen, Fengxiang Wang, Yuanyuan Zhang, Xiangyu Zhao, Feilong Tang, Encheng Su, Junzhi Ning, Xinyao Liu, Ye Du, Changkai Ji, Cheng Tang, Huihui Xu, Ziyang Chen, Ziyan Huang, Jiyao Liu, Pengfei Jiang, Yizhou Wang, Chen Tang, Jianyu Wu, Yuchen Ren, Siyuan Yan, Zhonghua Wang, Zhongxing Xu, Shiyan Su, Shangquan Sun, Runkai Zhao, Zhisheng Zhang, Yu Liu, Fudi Wang, Yuanfeng Ji, Yanzhou Su, Hongming Shan, Chunmei Feng, Jiahao Xu, Jiangtao Yan, Wenhao Tang, Diping Song, Lihao Liu, Yanyan Huang, Lequan Yu, Bin Fu, Shujun Wang, Xiaomeng Li, Xiaowei Hu, Yun Gu, Ben Fei, Zhongying Deng, Benyou Wang, Yuewen Cao, Minjie Shen, Haodong Duan, Jie Xu, Yirong Chen, Fang Yan, Hongxia Hao, Jielan Li, Jiajun Du, Yanbo Wang, Imran Razzak, Chi Zhang, Lijun Wu, Conghui He, Zhaohui Lu, Jinhai Huang, Yihao Liu, Fenghua Ling, Yuqiang Li, Aoran Wang, Qihao Zheng, Nanqing Dong, Tianfan Fu, Dongzhan Zhou, Yan Lu, Wenlong Zhang, Jin Ye, Jianfei Cai, Wanli Ouyang, Yu Qiao, Zongyuan Ge, Shixiang Tang, Junjun He, Chunfeng Song, Lei Bai, Bowen Zhou

cs.AI

Resumen

Los Modelos de Lenguaje Científico a Gran Escala (Sci-LLMs, por sus siglas en inglés) están transformando la forma en que el conocimiento se representa, integra y aplica en la investigación científica, aunque su avance está condicionado por la naturaleza compleja de los datos científicos. Este estudio presenta una síntesis exhaustiva y centrada en los datos que replantea el desarrollo de los Sci-LLMs como una coevolución entre los modelos y su sustrato de datos subyacente. Formulamos una taxonomía unificada de los datos científicos y un modelo jerárquico del conocimiento científico, destacando los desafíos multimodales, multiescala y específicos de dominio que diferencian los corpus científicos de los conjuntos de datos generales de procesamiento del lenguaje natural. Revisamos sistemáticamente los Sci-LLMs recientes, desde fundamentos de propósito general hasta modelos especializados en diversas disciplinas científicas, junto con un análisis extenso de más de 270 conjuntos de datos de preentrenamiento y posentrenamiento, demostrando por qué los Sci-LLMs plantean demandas distintivas: corpus heterogéneos, multiescala y cargados de incertidumbre que requieren representaciones que preserven la invariancia de dominio y permitan el razonamiento multimodal. En la evaluación, examinamos más de 190 conjuntos de datos de referencia y rastreamos un cambio desde exámenes estáticos hacia evaluaciones orientadas a procesos y descubrimientos con protocolos de evaluación avanzados. Estos análisis centrados en los datos resaltan problemas persistentes en el desarrollo de datos científicos y discuten soluciones emergentes que involucran pipelines de anotación semiautomatizados y validación experta. Finalmente, delineamos un cambio de paradigma hacia sistemas de bucle cerrado donde agentes autónomos basados en Sci-LLMs experimentan, validan y contribuyen activamente a una base de conocimiento viva y en evolución. En conjunto, este trabajo proporciona una hoja de ruta para construir sistemas de inteligencia artificial (IA) confiables y en continua evolución que funcionen como verdaderos socios en la aceleración del descubrimiento científico.

English

Scientific Large Language Models (Sci-LLMs) are transforming how knowledge is represented, integrated, and applied in scientific research, yet their progress is shaped by the complex nature of scientific data. This survey presents a comprehensive, data-centric synthesis that reframes the development of Sci-LLMs as a co-evolution between models and their underlying data substrate. We formulate a unified taxonomy of scientific data and a hierarchical model of scientific knowledge, emphasizing the multimodal, cross-scale, and domain-specific challenges that differentiate scientific corpora from general natural language processing datasets. We systematically review recent Sci-LLMs, from general-purpose foundations to specialized models across diverse scientific disciplines, alongside an extensive analysis of over 270 pre-/post-training datasets, showing why Sci-LLMs pose distinct demands -- heterogeneous, multi-scale, uncertainty-laden corpora that require representations preserving domain invariance and enabling cross-modal reasoning. On evaluation, we examine over 190 benchmark datasets and trace a shift from static exams toward process- and discovery-oriented assessments with advanced evaluation protocols. These data-centric analyses highlight persistent issues in scientific data development and discuss emerging solutions involving semi-automated annotation pipelines and expert validation. Finally, we outline a paradigm shift toward closed-loop systems where autonomous agents based on Sci-LLMs actively experiment, validate, and contribute to a living, evolving knowledge base. Collectively, this work provides a roadmap for building trustworthy, continually evolving artificial intelligence (AI) systems that function as a true partner in accelerating scientific discovery.