SciLitLLM: Hoe LLM's aan te passen voor het begrijpen van wetenschappelijke literatuur

SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

August 28, 2024

Auteurs: Sihang Li, Jin Huang, Jiaxi Zhuang, Yaorui Shi, Xiaochen Cai, Mingjun Xu, Xiang Wang, Linfeng Zhang, Guolin Ke, Hengxing Cai

cs.AI

Samenvatting

Het begrijpen van wetenschappelijke literatuur is cruciaal voor het extraheren van gerichte informatie en het verkrijgen van inzichten, waardoor wetenschappelijke ontdekkingen aanzienlijk worden bevorderd. Ondanks het opmerkelijke succes van Large Language Models (LLM's), hebben ze moeite met het begrijpen van wetenschappelijke literatuur, voornamelijk vanwege (1) een gebrek aan wetenschappelijke kennis en (2) onbekendheid met gespecialiseerde wetenschappelijke taken. Om een LLM te ontwikkelen die gespecialiseerd is in het begrijpen van wetenschappelijke literatuur, stellen we een hybride strategie voor die voortdurende voorafgaande training (CPT) en begeleide fijnafstemming (SFT) integreert, om tegelijkertijd wetenschappelijke domeinkennis te infuseren en het vermogen om instructies te volgen voor domeinspecifieke taken te verbeteren. In dit proces identificeren we twee belangrijke uitdagingen: (1) het construeren van hoogwaardige CPT-corpora, en (2) het genereren van diverse SFT-instructies. We pakken deze uitdagingen aan via een zorgvuldige pijplijn, waaronder PDF-tekstextractie, het corrigeren van parseerfouten, kwaliteitsfiltering en het creëren van synthetische instructies. Door deze strategie toe te passen, presenteren we een reeks LLM's: SciLitLLM, gespecialiseerd in het begrijpen van wetenschappelijke literatuur. Deze modellen laten veelbelovende prestaties zien op benchmarks voor het begrijpen van wetenschappelijke literatuur. Onze bijdragen zijn drievoudig: (1) We presenteren een effectief raamwerk dat CPT en SFT integreert om LLM's aan te passen aan het begrijpen van wetenschappelijke literatuur, wat ook eenvoudig kan worden aangepast aan andere domeinen. (2) We stellen een LLM-gebaseerde synthesemethode voor om diverse en hoogwaardige wetenschappelijke instructies te genereren, wat resulteert in een nieuwe instructieset -- SciLitIns -- voor begeleide fijnafstemming in minder vertegenwoordigde wetenschappelijke domeinen. (3) SciLitLLM behaalt veelbelovende prestatieverbeteringen op benchmarks voor het begrijpen van wetenschappelijke literatuur.

English

Scientific literature understanding is crucial for extracting targeted information and garnering insights, thereby significantly advancing scientific discovery. Despite the remarkable success of Large Language Models (LLMs), they face challenges in scientific literature understanding, primarily due to (1) a lack of scientific knowledge and (2) unfamiliarity with specialized scientific tasks. To develop an LLM specialized in scientific literature understanding, we propose a hybrid strategy that integrates continual pre-training (CPT) and supervised fine-tuning (SFT), to simultaneously infuse scientific domain knowledge and enhance instruction-following capabilities for domain-specific tasks.cIn this process, we identify two key challenges: (1) constructing high-quality CPT corpora, and (2) generating diverse SFT instructions. We address these challenges through a meticulous pipeline, including PDF text extraction, parsing content error correction, quality filtering, and synthetic instruction creation. Applying this strategy, we present a suite of LLMs: SciLitLLM, specialized in scientific literature understanding. These models demonstrate promising performance on scientific literature understanding benchmarks. Our contributions are threefold: (1) We present an effective framework that integrates CPT and SFT to adapt LLMs to scientific literature understanding, which can also be easily adapted to other domains. (2) We propose an LLM-based synthesis method to generate diverse and high-quality scientific instructions, resulting in a new instruction set -- SciLitIns -- for supervised fine-tuning in less-represented scientific domains. (3) SciLitLLM achieves promising performance improvements on scientific literature understanding benchmarks.