SciLitLLM: Cómo Adaptar LLMs para la Comprensión de la Literatura Científica

SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

August 28, 2024

Autores: Sihang Li, Jin Huang, Jiaxi Zhuang, Yaorui Shi, Xiaochen Cai, Mingjun Xu, Xiang Wang, Linfeng Zhang, Guolin Ke, Hengxing Cai

cs.AI

Resumen

La comprensión de la literatura científica es crucial para extraer información específica y obtener ideas, lo que avanza significativamente el descubrimiento científico. A pesar del notable éxito de los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés), enfrentan desafíos en la comprensión de la literatura científica, principalmente debido a (1) la falta de conocimiento científico y (2) la falta de familiaridad con tareas científicas especializadas. Para desarrollar un LLM especializado en la comprensión de la literatura científica, proponemos una estrategia híbrida que integra el preentrenamiento continuo (CPT, por sus siglas en inglés) y el ajuste fino supervisado (SFT, por sus siglas en inglés), para infundir simultáneamente conocimiento del dominio científico y mejorar las capacidades de seguimiento de instrucciones para tareas específicas del dominio. En este proceso, identificamos dos desafíos clave: (1) la construcción de corpus de CPT de alta calidad y (2) la generación de instrucciones SFT diversas. Abordamos estos desafíos a través de un meticuloso proceso, que incluye la extracción de texto de PDF, la corrección de errores de contenido, el filtrado de calidad y la creación de instrucciones sintéticas. Aplicando esta estrategia, presentamos una serie de LLMs: SciLitLLM, especializado en la comprensión de la literatura científica. Estos modelos muestran un rendimiento prometedor en los benchmarks de comprensión de la literatura científica. Nuestras contribuciones son triples: (1) Presentamos un marco efectivo que integra CPT y SFT para adaptar LLMs a la comprensión de la literatura científica, que también puede adaptarse fácilmente a otros dominios. (2) Proponemos un método de síntesis basado en LLM para generar instrucciones científicas diversas y de alta calidad, lo que resulta en un nuevo conjunto de instrucciones - SciLitIns - para el ajuste fino supervisado en dominios científicos menos representados. (3) SciLitLLM logra mejoras prometedoras en el rendimiento en los benchmarks de comprensión de la literatura científica.

English

Scientific literature understanding is crucial for extracting targeted information and garnering insights, thereby significantly advancing scientific discovery. Despite the remarkable success of Large Language Models (LLMs), they face challenges in scientific literature understanding, primarily due to (1) a lack of scientific knowledge and (2) unfamiliarity with specialized scientific tasks. To develop an LLM specialized in scientific literature understanding, we propose a hybrid strategy that integrates continual pre-training (CPT) and supervised fine-tuning (SFT), to simultaneously infuse scientific domain knowledge and enhance instruction-following capabilities for domain-specific tasks.cIn this process, we identify two key challenges: (1) constructing high-quality CPT corpora, and (2) generating diverse SFT instructions. We address these challenges through a meticulous pipeline, including PDF text extraction, parsing content error correction, quality filtering, and synthetic instruction creation. Applying this strategy, we present a suite of LLMs: SciLitLLM, specialized in scientific literature understanding. These models demonstrate promising performance on scientific literature understanding benchmarks. Our contributions are threefold: (1) We present an effective framework that integrates CPT and SFT to adapt LLMs to scientific literature understanding, which can also be easily adapted to other domains. (2) We propose an LLM-based synthesis method to generate diverse and high-quality scientific instructions, resulting in a new instruction set -- SciLitIns -- for supervised fine-tuning in less-represented scientific domains. (3) SciLitLLM achieves promising performance improvements on scientific literature understanding benchmarks.