Использование больших языковых моделей для обнаружения научной новизны

Harnessing Large Language Models for Scientific Novelty Detection

May 30, 2025

Авторы: Yan Liu, Zonglin Yang, Soujanya Poria, Thanh-Son Nguyen, Erik Cambria

cs.AI

Аннотация

В эпоху экспоненциального роста научных знаний выявление новых исследовательских идей является важной, но сложной задачей в академической среде. Несмотря на потенциал, отсутствие подходящего эталонного набора данных затрудняет исследования в области обнаружения новизны. Более того, простое применение существующих технологий обработки естественного языка (NLP), таких как поиск и последующая перекрестная проверка, не является универсальным решением из-за разрыва между текстовым сходством и концепцией идей. В данной статье мы предлагаем использовать крупные языковые модели (LLM) для обнаружения научной новизны (ND), сопровождая это двумя новыми наборами данных в областях маркетинга и NLP. Для создания тщательно продуманных наборов данных для ND мы предлагаем извлекать замкнутые множества статей на основе их взаимосвязей, а затем суммировать их основные идеи с помощью LLM. Чтобы уловить концепцию идей, мы предлагаем обучить легковесный поисковый механизм, дистиллируя знания на уровне идей из LLM, чтобы согласовать идеи с похожими концепциями, что позволяет эффективно и точно извлекать идеи для обнаружения новизны с помощью LLM. Эксперименты показывают, что наш метод стабильно превосходит другие на предложенных эталонных наборах данных для задач поиска идей и ND. Коды и данные доступны по адресу https://anonymous.4open.science/r/NoveltyDetection-10FB/.

English

In an era of exponential scientific growth, identifying novel research ideas is crucial and challenging in academia. Despite potential, the lack of an appropriate benchmark dataset hinders the research of novelty detection. More importantly, simply adopting existing NLP technologies, e.g., retrieving and then cross-checking, is not a one-size-fits-all solution due to the gap between textual similarity and idea conception. In this paper, we propose to harness large language models (LLMs) for scientific novelty detection (ND), associated with two new datasets in marketing and NLP domains. To construct the considerate datasets for ND, we propose to extract closure sets of papers based on their relationship, and then summarize their main ideas based on LLMs. To capture idea conception, we propose to train a lightweight retriever by distilling the idea-level knowledge from LLMs to align ideas with similar conception, enabling efficient and accurate idea retrieval for LLM novelty detection. Experiments show our method consistently outperforms others on the proposed benchmark datasets for idea retrieval and ND tasks. Codes and data are available at https://anonymous.4open.science/r/NoveltyDetection-10FB/.