ScholarCopilot: Обучение крупных языковых моделей для академического письма с точным цитированием

ScholarCopilot: Training Large Language Models for Academic Writing with Accurate Citations

April 1, 2025

Авторы: Yubo Wang, Xueguang Ma, Ping Nie, Huaye Zeng, Zhiheng Lyu, Yuxuan Zhang, Benjamin Schneider, Yi Lu, Xiang Yue, Wenhu Chen

cs.AI

Аннотация

Академическое письмо требует как связного создания текста, так и точного цитирования соответствующей литературы. Хотя современные системы генерации с использованием извлечения информации (Retrieval-Augmented Generation, RAG) значительно улучшили фактическую точность в генерации текстов общего назначения, их способность адекватно поддерживать профессиональное академическое письмо остается ограниченной. В данной работе мы представляем ScholarCopilot — унифицированную структуру, предназначенную для улучшения существующих крупных языковых моделей в генерации профессиональных академических статей с точными и контекстуально релевантными цитатами. ScholarCopilot динамически определяет, когда необходимо извлекать научные ссылки, генерируя токен извлечения [RET], а затем использует его представление для поиска соответствующих цитат в базе данных. Извлеченные ссылки передаются в модель для улучшения процесса генерации. Мы совместно оптимизируем задачи генерации и цитирования в рамках единой структуры для повышения эффективности. Обучив модель на 500 тысячах статей из arXiv, мы достигли точности извлечения top-1 в 40,1% на нашем оценочном наборе данных, превзойдя базовые модели, такие как E5-Mistral-7B-Instruct (15,0%) и BM25 (9,8%). На наборе данных из 1000 образцов академического письма ScholarCopilot получил оценку 16,2/25 за качество генерации (измеряемое по релевантности, связности, академической строгости, полноте и инновационности), превзойдя модели с в 10 раз большим количеством параметров, такие как Qwen-2.5-72B-Instruct (15,8/25). Человеческие исследования также подтверждают превосходство ScholarCopilot в полноте цитирования, эффективности письма и общем пользовательском опыте, что подтверждает эффективность нашего подхода.

English

Academic writing requires both coherent text generation and precise citation of relevant literature. Although recent Retrieval-Augmented Generation (RAG) systems have significantly improved factual accuracy in general-purpose text generation, their capacity to adequately support professional academic writing remains limited. In this work, we introduce ScholarCopilot, a unified framework designed to enhance existing large language models for generating professional academic articles with accurate and contextually relevant citations. ScholarCopilot dynamically determines when to retrieve scholarly references by generating a retrieval token [RET], and then utilizes its representation to look up relevant citations from a database. The retrieved references are fed into the model to augment the generation process. We jointly optimize both the generation and citation tasks within a single framework to increase efficiency. Trained on 500K papers from arXiv, our model achieves a top-1 retrieval accuracy of 40.1% on our evaluation dataset, outperforming baselines such as E5-Mistral-7B-Instruct (15.0%) and BM25 (9.8%). On a dataset of 1,000 academic writing samples, ScholarCopilot scores 16.2/25 in generation quality (measured across relevance, coherence, academic rigor, completeness, and innovation), surpassing models with 10x more parameters such as Qwen-2.5-72B-Instruct (15.8/25). Human studies also confirm ScholarCopilot's superior performance in citation recall, writing efficiency, and overall user experience, confirming the effectiveness of our approach.