SciLitLLM: Wie man LLMs für das Verständnis wissenschaftlicher Literatur anpasst

SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

August 28, 2024

Autoren: Sihang Li, Jin Huang, Jiaxi Zhuang, Yaorui Shi, Xiaochen Cai, Mingjun Xu, Xiang Wang, Linfeng Zhang, Guolin Ke, Hengxing Cai

cs.AI

Zusammenfassung

Das Verständnis wissenschaftlicher Literatur ist entscheidend für die Extraktion gezielter Informationen und die Gewinnung von Erkenntnissen, was die wissenschaftliche Entdeckung erheblich vorantreibt. Trotz des bemerkenswerten Erfolgs von Großen Sprachmodellen (LLMs) stehen sie vor Herausforderungen beim Verständnis wissenschaftlicher Literatur, hauptsächlich aufgrund (1) eines Mangels an wissenschaftlichem Wissen und (2) Unvertrautheit mit spezialisierten wissenschaftlichen Aufgaben. Um ein auf das Verständnis wissenschaftlicher Literatur spezialisiertes LLM zu entwickeln, schlagen wir eine hybride Strategie vor, die kontinuierliches Vor-Training (CPT) und überwachtes Feinabstimmung (SFT) integriert, um gleichzeitig wissenschaftliches Fachwissen einzubringen und die Fähigkeiten zur Befolgung von Anweisungen für domänenspezifische Aufgaben zu verbessern. In diesem Prozess identifizieren wir zwei Hauptprobleme: (1) den Aufbau hochwertiger CPT-Korpora und (2) die Generierung vielfältiger SFT-Anweisungen. Diese Herausforderungen angehen wir durch eine sorgfältige Pipeline, einschließlich PDF-Textextraktion, Fehlerkorrektur beim Parsen von Inhalten, Qualitätsfilterung und Erstellung synthetischer Anweisungen. Unter Anwendung dieser Strategie präsentieren wir eine Reihe von LLMs: SciLitLLM, spezialisiert auf das Verständnis wissenschaftlicher Literatur. Diese Modelle zeigen vielversprechende Leistungen bei wissenschaftlichen Literaturverständnis-Benchmarks. Unsere Beiträge sind dreifach: (1) Wir präsentieren einen effektiven Rahmen, der CPT und SFT integriert, um LLMs an das Verständnis wissenschaftlicher Literatur anzupassen, was auch leicht auf andere Bereiche übertragbar ist. (2) Wir schlagen eine auf LLM basierende Synthesemethode vor, um vielfältige und hochwertige wissenschaftliche Anweisungen zu generieren, was zu einem neuen Anweisungsset - SciLitIns - für überwachtes Feinabstimmen in weniger repräsentierten wissenschaftlichen Bereichen führt. (3) SciLitLLM erzielt vielversprechende Leistungsverbesserungen bei wissenschaftlichen Literaturverständnis-Benchmarks.

English

Scientific literature understanding is crucial for extracting targeted information and garnering insights, thereby significantly advancing scientific discovery. Despite the remarkable success of Large Language Models (LLMs), they face challenges in scientific literature understanding, primarily due to (1) a lack of scientific knowledge and (2) unfamiliarity with specialized scientific tasks. To develop an LLM specialized in scientific literature understanding, we propose a hybrid strategy that integrates continual pre-training (CPT) and supervised fine-tuning (SFT), to simultaneously infuse scientific domain knowledge and enhance instruction-following capabilities for domain-specific tasks.cIn this process, we identify two key challenges: (1) constructing high-quality CPT corpora, and (2) generating diverse SFT instructions. We address these challenges through a meticulous pipeline, including PDF text extraction, parsing content error correction, quality filtering, and synthetic instruction creation. Applying this strategy, we present a suite of LLMs: SciLitLLM, specialized in scientific literature understanding. These models demonstrate promising performance on scientific literature understanding benchmarks. Our contributions are threefold: (1) We present an effective framework that integrates CPT and SFT to adapt LLMs to scientific literature understanding, which can also be easily adapted to other domains. (2) We propose an LLM-based synthesis method to generate diverse and high-quality scientific instructions, resulting in a new instruction set -- SciLitIns -- for supervised fine-tuning in less-represented scientific domains. (3) SciLitLLM achieves promising performance improvements on scientific literature understanding benchmarks.