SciLitLLM : Comment Adapter les LLM pour la Compréhension de la Littérature Scientifique

SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

August 28, 2024

Auteurs: Sihang Li, Jin Huang, Jiaxi Zhuang, Yaorui Shi, Xiaochen Cai, Mingjun Xu, Xiang Wang, Linfeng Zhang, Guolin Ke, Hengxing Cai

cs.AI

Résumé

La compréhension de la littérature scientifique est cruciale pour extraire des informations ciblées et obtenir des insights, contribuant ainsi de manière significative à l'avancement de la découverte scientifique. Malgré le succès remarquable des Grands Modèles de Langage (GML), ils rencontrent des défis dans la compréhension de la littérature scientifique, principalement en raison (1) d'un manque de connaissances scientifiques et (2) d'une méconnaissance des tâches scientifiques spécialisées. Pour développer un GML spécialisé dans la compréhension de la littérature scientifique, nous proposons une stratégie hybride qui intègre un pré-entraînement continu (PEC) et un affinage supervisé (AS), pour infuser simultanément des connaissances du domaine scientifique et améliorer les capacités de suivi des instructions pour des tâches spécifiques au domaine. Dans ce processus, nous identifions deux défis majeurs : (1) la construction de corpus de PEC de haute qualité et (2) la génération d'instructions diverses pour l'AS. Nous relevons ces défis grâce à un pipeline méticuleux, comprenant l'extraction de texte PDF, la correction d'erreurs de contenu, le filtrage de la qualité et la création d'instructions synthétiques. En appliquant cette stratégie, nous présentons une série de GML : SciLitLLM, spécialisé dans la compréhension de la littérature scientifique. Ces modèles démontrent des performances prometteuses sur des benchmarks de compréhension de la littérature scientifique. Nos contributions sont triples : (1) Nous présentons un cadre efficace qui intègre le PEC et l'AS pour adapter les GML à la compréhension de la littérature scientifique, pouvant également être facilement adapté à d'autres domaines. (2) Nous proposons une méthode de synthèse basée sur les GML pour générer des instructions scientifiques diverses et de haute qualité, aboutissant à un nouvel ensemble d'instructions - SciLitIns - pour l'affinage supervisé dans des domaines scientifiques moins représentés. (3) SciLitLLM réalise des améliorations de performances prometteuses sur des benchmarks de compréhension de la littérature scientifique.

English

Scientific literature understanding is crucial for extracting targeted information and garnering insights, thereby significantly advancing scientific discovery. Despite the remarkable success of Large Language Models (LLMs), they face challenges in scientific literature understanding, primarily due to (1) a lack of scientific knowledge and (2) unfamiliarity with specialized scientific tasks. To develop an LLM specialized in scientific literature understanding, we propose a hybrid strategy that integrates continual pre-training (CPT) and supervised fine-tuning (SFT), to simultaneously infuse scientific domain knowledge and enhance instruction-following capabilities for domain-specific tasks.cIn this process, we identify two key challenges: (1) constructing high-quality CPT corpora, and (2) generating diverse SFT instructions. We address these challenges through a meticulous pipeline, including PDF text extraction, parsing content error correction, quality filtering, and synthetic instruction creation. Applying this strategy, we present a suite of LLMs: SciLitLLM, specialized in scientific literature understanding. These models demonstrate promising performance on scientific literature understanding benchmarks. Our contributions are threefold: (1) We present an effective framework that integrates CPT and SFT to adapt LLMs to scientific literature understanding, which can also be easily adapted to other domains. (2) We propose an LLM-based synthesis method to generate diverse and high-quality scientific instructions, resulting in a new instruction set -- SciLitIns -- for supervised fine-tuning in less-represented scientific domains. (3) SciLitLLM achieves promising performance improvements on scientific literature understanding benchmarks.