Une étude des modèles de langage scientifique à grande échelle : des fondements des données aux frontières des agents

papers.abstract

Les modèles de langage scientifique à grande échelle (Sci-LLMs) transforment la manière dont les connaissances sont représentées, intégrées et appliquées dans la recherche scientifique, bien que leur progression soit influencée par la nature complexe des données scientifiques. Cette étude propose une synthèse exhaustive et centrée sur les données qui redéfinit le développement des Sci-LLMs comme une co-évolution entre les modèles et leur substrat de données sous-jacent. Nous établissons une taxonomie unifiée des données scientifiques et un modèle hiérarchique des connaissances scientifiques, en mettant l'accent sur les défis multimodaux, multi-échelles et spécifiques à un domaine qui distinguent les corpus scientifiques des ensembles de données généralistes en traitement du langage naturel. Nous passons en revue systématiquement les récents Sci-LLMs, des modèles généralistes aux modèles spécialisés couvrant diverses disciplines scientifiques, accompagnés d'une analyse approfondie de plus de 270 ensembles de données pré- et post-entraînement, montrant pourquoi les Sci-LLMs imposent des exigences distinctes — des corpus hétérogènes, multi-échelles et chargés d'incertitudes qui nécessitent des représentations préservant l'invariance de domaine et permettant un raisonnement intermodal. En matière d'évaluation, nous examinons plus de 190 ensembles de données de référence et observons une transition des évaluations statiques vers des évaluations orientées processus et découverte, avec des protocoles d'évaluation avancés. Ces analyses centrées sur les données mettent en lumière des problèmes persistants dans le développement des données scientifiques et discutent des solutions émergentes impliquant des pipelines d'annotation semi-automatisés et une validation experte. Enfin, nous esquissons un changement de paradigme vers des systèmes en boucle fermée où des agents autonomes basés sur les Sci-LLMs expérimentent activement, valident et contribuent à une base de connaissances vivante et évolutive. Collectivement, ce travail fournit une feuille de route pour construire des systèmes d'intelligence artificielle (IA) fiables et en évolution continue, fonctionnant comme de véritables partenaires dans l'accélération de la découverte scientifique.

English

Scientific Large Language Models (Sci-LLMs) are transforming how knowledge is represented, integrated, and applied in scientific research, yet their progress is shaped by the complex nature of scientific data. This survey presents a comprehensive, data-centric synthesis that reframes the development of Sci-LLMs as a co-evolution between models and their underlying data substrate. We formulate a unified taxonomy of scientific data and a hierarchical model of scientific knowledge, emphasizing the multimodal, cross-scale, and domain-specific challenges that differentiate scientific corpora from general natural language processing datasets. We systematically review recent Sci-LLMs, from general-purpose foundations to specialized models across diverse scientific disciplines, alongside an extensive analysis of over 270 pre-/post-training datasets, showing why Sci-LLMs pose distinct demands -- heterogeneous, multi-scale, uncertainty-laden corpora that require representations preserving domain invariance and enabling cross-modal reasoning. On evaluation, we examine over 190 benchmark datasets and trace a shift from static exams toward process- and discovery-oriented assessments with advanced evaluation protocols. These data-centric analyses highlight persistent issues in scientific data development and discuss emerging solutions involving semi-automated annotation pipelines and expert validation. Finally, we outline a paradigm shift toward closed-loop systems where autonomous agents based on Sci-LLMs actively experiment, validate, and contribute to a living, evolving knowledge base. Collectively, this work provides a roadmap for building trustworthy, continually evolving artificial intelligence (AI) systems that function as a true partner in accelerating scientific discovery.

Une étude des modèles de langage scientifique à grande échelle : des fondements des données aux frontières des agents

A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers

papers.abstract

Support