SciLitLLM: Как адаптировать LLM для понимания научной литературы

SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding

August 28, 2024

Авторы: Sihang Li, Jin Huang, Jiaxi Zhuang, Yaorui Shi, Xiaochen Cai, Mingjun Xu, Xiang Wang, Linfeng Zhang, Guolin Ke, Hengxing Cai

cs.AI

Аннотация

Понимание научной литературы имеет решающее значение для извлечения целевой информации и получения умозаключений, что значительно способствует научным открытиям. Несмотря на замечательный успех больших языковых моделей (LLM), они сталкиваются с проблемами в понимании научной литературы, в основном из-за (1) отсутствия научных знаний и (2) незнакомости с специализированными научными задачами. Для разработки LLM, специализированных в понимании научной литературы, мы предлагаем гибридную стратегию, которая интегрирует непрерывное предварительное обучение (CPT) и надзорное точное дообучение (SFT), чтобы одновременно внедрить научные знания и улучшить способности следовать инструкциям для задач, специфичных для области. В этом процессе мы выделяем две ключевые проблемы: (1) создание качественных корпусов CPT и (2) генерация разнообразных инструкций SFT. Мы решаем эти проблемы через тщательный конвейер, включающий извлечение текста из PDF, исправление ошибок в разборе содержания, фильтрацию качества и создание синтетических инструкций. Применяя эту стратегию, мы представляем набор LLM: SciLitLLM, специализированных в понимании научной литературы. Эти модели демонстрируют многообещающую производительность на бенчмарках по пониманию научной литературы. Наш вклад троекратный: (1) Мы представляем эффективную структуру, которая интегрирует CPT и SFT для адаптации LLM к пониманию научной литературы, которая также легко может быть адаптирована к другим областям. (2) Мы предлагаем метод синтеза на основе LLM для генерации разнообразных и качественных научных инструкций, что приводит к новому набору инструкций - SciLitIns - для надзорного точного дообучения в мало представленных научных областях. (3) SciLitLLM достигает многообещающих улучшений производительности на бенчмарках по пониманию научной литературы.

English

Scientific literature understanding is crucial for extracting targeted information and garnering insights, thereby significantly advancing scientific discovery. Despite the remarkable success of Large Language Models (LLMs), they face challenges in scientific literature understanding, primarily due to (1) a lack of scientific knowledge and (2) unfamiliarity with specialized scientific tasks. To develop an LLM specialized in scientific literature understanding, we propose a hybrid strategy that integrates continual pre-training (CPT) and supervised fine-tuning (SFT), to simultaneously infuse scientific domain knowledge and enhance instruction-following capabilities for domain-specific tasks.cIn this process, we identify two key challenges: (1) constructing high-quality CPT corpora, and (2) generating diverse SFT instructions. We address these challenges through a meticulous pipeline, including PDF text extraction, parsing content error correction, quality filtering, and synthetic instruction creation. Applying this strategy, we present a suite of LLMs: SciLitLLM, specialized in scientific literature understanding. These models demonstrate promising performance on scientific literature understanding benchmarks. Our contributions are threefold: (1) We present an effective framework that integrates CPT and SFT to adapt LLMs to scientific literature understanding, which can also be easily adapted to other domains. (2) We propose an LLM-based synthesis method to generate diverse and high-quality scientific instructions, resulting in a new instruction set -- SciLitIns -- for supervised fine-tuning in less-represented scientific domains. (3) SciLitLLM achieves promising performance improvements on scientific literature understanding benchmarks.