Nutzung großer Sprachmodelle zur Erkennung wissenschaftlicher Neuartigkeit

Harnessing Large Language Models for Scientific Novelty Detection

May 30, 2025

Autoren: Yan Liu, Zonglin Yang, Soujanya Poria, Thanh-Son Nguyen, Erik Cambria

cs.AI

Zusammenfassung

In einer Ära exponentiellen wissenschaftlichen Fortschritts ist die Identifizierung neuartiger Forschungsideen in der akademischen Welt entscheidend und zugleich herausfordernd. Trotz des Potenzials behindert das Fehlen eines geeigneten Benchmark-Datensatzes die Forschung zur Erkennung von Neuartigkeit. Noch wichtiger ist, dass die einfache Übernahme bestehender NLP-Technologien, wie z. B. das Abrufen und anschließende Kreuzprüfen, aufgrund der Lücke zwischen textueller Ähnlichkeit und Ideenkonzeption keine universelle Lösung darstellt. In diesem Artikel schlagen wir vor, große Sprachmodelle (LLMs) für die wissenschaftliche Erkennung von Neuartigkeit (Novelty Detection, ND) zu nutzen, verbunden mit zwei neuen Datensätzen aus den Bereichen Marketing und NLP. Um angemessene Datensätze für ND zu erstellen, schlagen wir vor, Abschlussmengen von Arbeiten basierend auf ihren Beziehungen zu extrahieren und dann ihre Hauptideen mithilfe von LLMs zusammenzufassen. Um die Ideenkonzeption zu erfassen, schlagen wir vor, einen leichtgewichtigen Retriever zu trainieren, indem das Ideenwissen von LLMs destilliert wird, um Ideen mit ähnlicher Konzeption auszurichten, was eine effiziente und genaue Ideenabfrage für die ND durch LLMs ermöglicht. Experimente zeigen, dass unsere Methode auf den vorgeschlagenen Benchmark-Datensätzen für die Ideenabfrage und ND-Aufgaben durchweg besser abschneidet als andere. Codes und Daten sind verfügbar unter https://anonymous.4open.science/r/NoveltyDetection-10FB/.

English

In an era of exponential scientific growth, identifying novel research ideas is crucial and challenging in academia. Despite potential, the lack of an appropriate benchmark dataset hinders the research of novelty detection. More importantly, simply adopting existing NLP technologies, e.g., retrieving and then cross-checking, is not a one-size-fits-all solution due to the gap between textual similarity and idea conception. In this paper, we propose to harness large language models (LLMs) for scientific novelty detection (ND), associated with two new datasets in marketing and NLP domains. To construct the considerate datasets for ND, we propose to extract closure sets of papers based on their relationship, and then summarize their main ideas based on LLMs. To capture idea conception, we propose to train a lightweight retriever by distilling the idea-level knowledge from LLMs to align ideas with similar conception, enabling efficient and accurate idea retrieval for LLM novelty detection. Experiments show our method consistently outperforms others on the proposed benchmark datasets for idea retrieval and ND tasks. Codes and data are available at https://anonymous.4open.science/r/NoveltyDetection-10FB/.