SciLitLLM: Come Adattare LLM per la Comprensione della Letteratura Scientifica

Abstract

La comprensione della letteratura scientifica è cruciale per estrarre informazioni mirate e ottenere approfondimenti, contribuendo così in modo significativo alla scoperta scientifica. Nonostante il notevole successo dei Grandi Modelli Linguistici (LLM), essi affrontano sfide nella comprensione della letteratura scientifica, principalmente a causa (1) della mancanza di conoscenze scientifiche e (2) della non familiarità con compiti scientifici specializzati. Per sviluppare un LLM specializzato nella comprensione della letteratura scientifica, proponiamo una strategia ibrida che integra il pre-addestramento continuo (CPT) e il raffinamento supervisionato (SFT), per infondere simultaneamente conoscenze del dominio scientifico e migliorare le capacità di seguire istruzioni per compiti specifici del dominio. In questo processo, identifichiamo due sfide principali: (1) la costruzione di corpora CPT di alta qualità e (2) la generazione di istruzioni SFT diverse. Affrontiamo queste sfide attraverso un accurato processo, che include l'estrazione del testo dai PDF, la correzione degli errori di parsing del contenuto, il filtraggio della qualità e la creazione di istruzioni sintetiche. Applicando questa strategia, presentiamo una serie di LLM: SciLitLLM, specializzato nella comprensione della letteratura scientifica. Questi modelli mostrano prestazioni promettenti su benchmark di comprensione della letteratura scientifica. Le nostre contribuzioni sono tre: (1) Presentiamo un efficace framework che integra CPT e SFT per adattare i LLM alla comprensione della letteratura scientifica, che può essere facilmente adattato anche ad altri domini. (2) Proponiamo un metodo di sintesi basato su LLM per generare istruzioni scientifiche diverse e di alta qualità, risultando in un nuovo set di istruzioni - SciLitIns - per il raffinamento supervisionato in domini scientifici poco rappresentati. (3) SciLitLLM raggiunge promettenti miglioramenti delle prestazioni su benchmark di comprensione della letteratura scientifica.

English

Scientific literature understanding is crucial for extracting targeted information and garnering insights, thereby significantly advancing scientific discovery. Despite the remarkable success of Large Language Models (LLMs), they face challenges in scientific literature understanding, primarily due to (1) a lack of scientific knowledge and (2) unfamiliarity with specialized scientific tasks. To develop an LLM specialized in scientific literature understanding, we propose a hybrid strategy that integrates continual pre-training (CPT) and supervised fine-tuning (SFT), to simultaneously infuse scientific domain knowledge and enhance instruction-following capabilities for domain-specific tasks.cIn this process, we identify two key challenges: (1) constructing high-quality CPT corpora, and (2) generating diverse SFT instructions. We address these challenges through a meticulous pipeline, including PDF text extraction, parsing content error correction, quality filtering, and synthetic instruction creation. Applying this strategy, we present a suite of LLMs: SciLitLLM, specialized in scientific literature understanding. These models demonstrate promising performance on scientific literature understanding benchmarks. Our contributions are threefold: (1) We present an effective framework that integrates CPT and SFT to adapt LLMs to scientific literature understanding, which can also be easily adapted to other domains. (2) We propose an LLM-based synthesis method to generate diverse and high-quality scientific instructions, resulting in a new instruction set -- SciLitIns -- for supervised fine-tuning in less-represented scientific domains. (3) SciLitLLM achieves promising performance improvements on scientific literature understanding benchmarks.

SciLitLLM: Come Adattare LLM per la Comprensione della Letteratura Scientifica

SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

Abstract

Support