Uma Análise dos Grandes Modelos de Linguagem Científicos: Dos Fundamentos de Dados às Fronteiras de Agentes

A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers

August 28, 2025

Autores: Ming Hu, Chenglong Ma, Wei Li, Wanghan Xu, Jiamin Wu, Jucheng Hu, Tianbin Li, Guohang Zhuang, Jiaqi Liu, Yingzhou Lu, Ying Chen, Chaoyang Zhang, Cheng Tan, Jie Ying, Guocheng Wu, Shujian Gao, Pengcheng Chen, Jiashi Lin, Haitao Wu, Lulu Chen, Fengxiang Wang, Yuanyuan Zhang, Xiangyu Zhao, Feilong Tang, Encheng Su, Junzhi Ning, Xinyao Liu, Ye Du, Changkai Ji, Cheng Tang, Huihui Xu, Ziyang Chen, Ziyan Huang, Jiyao Liu, Pengfei Jiang, Yizhou Wang, Chen Tang, Jianyu Wu, Yuchen Ren, Siyuan Yan, Zhonghua Wang, Zhongxing Xu, Shiyan Su, Shangquan Sun, Runkai Zhao, Zhisheng Zhang, Yu Liu, Fudi Wang, Yuanfeng Ji, Yanzhou Su, Hongming Shan, Chunmei Feng, Jiahao Xu, Jiangtao Yan, Wenhao Tang, Diping Song, Lihao Liu, Yanyan Huang, Lequan Yu, Bin Fu, Shujun Wang, Xiaomeng Li, Xiaowei Hu, Yun Gu, Ben Fei, Zhongying Deng, Benyou Wang, Yuewen Cao, Minjie Shen, Haodong Duan, Jie Xu, Yirong Chen, Fang Yan, Hongxia Hao, Jielan Li, Jiajun Du, Yanbo Wang, Imran Razzak, Chi Zhang, Lijun Wu, Conghui He, Zhaohui Lu, Jinhai Huang, Yihao Liu, Fenghua Ling, Yuqiang Li, Aoran Wang, Qihao Zheng, Nanqing Dong, Tianfan Fu, Dongzhan Zhou, Yan Lu, Wenlong Zhang, Jin Ye, Jianfei Cai, Wanli Ouyang, Yu Qiao, Zongyuan Ge, Shixiang Tang, Junjun He, Chunfeng Song, Lei Bai, Bowen Zhou

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala Científicos (Sci-LLMs) estão transformando a forma como o conhecimento é representado, integrado e aplicado na pesquisa científica, embora seu progresso seja moldado pela natureza complexa dos dados científicos. Esta pesquisa apresenta uma síntese abrangente e centrada em dados que reformula o desenvolvimento dos Sci-LLMs como uma coevolução entre os modelos e seu substrato de dados subjacente. Propomos uma taxonomia unificada de dados científicos e um modelo hierárquico de conhecimento científico, enfatizando os desafios multimodais, multiescala e específicos de domínio que diferenciam os corpora científicos dos conjuntos de dados gerais de processamento de linguagem natural. Revisamos sistematicamente os Sci-LLMs recentes, desde modelos de propósito geral até modelos especializados em diversas disciplinas científicas, juntamente com uma análise extensa de mais de 270 conjuntos de dados de pré/pós-treinamento, mostrando por que os Sci-LLMs exigem corpora heterogêneos, multiescala e carregados de incertezas que requerem representações que preservem a invariância de domínio e permitam o raciocínio multimodal. Na avaliação, examinamos mais de 190 conjuntos de dados de referência e traçamos uma mudança de exames estáticos para avaliações orientadas a processos e descobertas, com protocolos de avaliação avançados. Essas análises centradas em dados destacam questões persistentes no desenvolvimento de dados científicos e discutem soluções emergentes envolvendo pipelines de anotação semiautomatizados e validação por especialistas. Por fim, delineamos uma mudança de paradigma em direção a sistemas de ciclo fechado, onde agentes autônomos baseados em Sci-LLMs experimentam, validam e contribuem ativamente para uma base de conhecimento viva e em evolução. Coletivamente, este trabalho fornece um roteiro para a construção de sistemas de inteligência artificial (IA) confiáveis e em constante evolução que funcionam como verdadeiros parceiros na aceleração da descoberta científica.

English

Scientific Large Language Models (Sci-LLMs) are transforming how knowledge is represented, integrated, and applied in scientific research, yet their progress is shaped by the complex nature of scientific data. This survey presents a comprehensive, data-centric synthesis that reframes the development of Sci-LLMs as a co-evolution between models and their underlying data substrate. We formulate a unified taxonomy of scientific data and a hierarchical model of scientific knowledge, emphasizing the multimodal, cross-scale, and domain-specific challenges that differentiate scientific corpora from general natural language processing datasets. We systematically review recent Sci-LLMs, from general-purpose foundations to specialized models across diverse scientific disciplines, alongside an extensive analysis of over 270 pre-/post-training datasets, showing why Sci-LLMs pose distinct demands -- heterogeneous, multi-scale, uncertainty-laden corpora that require representations preserving domain invariance and enabling cross-modal reasoning. On evaluation, we examine over 190 benchmark datasets and trace a shift from static exams toward process- and discovery-oriented assessments with advanced evaluation protocols. These data-centric analyses highlight persistent issues in scientific data development and discuss emerging solutions involving semi-automated annotation pipelines and expert validation. Finally, we outline a paradigm shift toward closed-loop systems where autonomous agents based on Sci-LLMs actively experiment, validate, and contribute to a living, evolving knowledge base. Collectively, this work provides a roadmap for building trustworthy, continually evolving artificial intelligence (AI) systems that function as a true partner in accelerating scientific discovery.