Grootschalige Taalmodellen Inzetten voor Wetenschappelijke Nieuwheidsdetectie

Harnessing Large Language Models for Scientific Novelty Detection

May 30, 2025

Auteurs: Yan Liu, Zonglin Yang, Soujanya Poria, Thanh-Son Nguyen, Erik Cambria

cs.AI

Samenvatting

In een tijdperk van exponentiële wetenschappelijke groei is het identificeren van nieuwe onderzoeksideeën cruciaal maar uitdagend in de academische wereld. Ondanks het potentieel belemmert het ontbreken van een geschikte benchmarkdataset het onderzoek naar nieuwheidsdetectie. Belangrijker nog, het simpelweg toepassen van bestaande NLP-technologieën, zoals het ophalen en vervolgens kruisverifiëren, is geen universele oplossing vanwege de kloof tussen tekstuele gelijkenis en ideeconceptie. In dit artikel stellen we voor om grote taalmmodellen (LLMs) in te zetten voor wetenschappelijke nieuwheidsdetectie (ND), in combinatie met twee nieuwe datasets in de domeinen marketing en NLP. Om zorgvuldige datasets voor ND te construeren, stellen we voor om sluitingssets van artikelen te extraheren op basis van hun relatie, en vervolgens hun belangrijkste ideeën samen te vatten op basis van LLMs. Om ideeconceptie vast te leggen, stellen we voor om een lichtgewicht retriever te trainen door idee-niveau kennis uit LLMs te destilleren, om ideeën met vergelijkbare conceptie uit te lijnen, waardoor efficiënte en accurate idee-retrieval voor LLM-nieuwheidsdetectie mogelijk wordt. Experimenten tonen aan dat onze methode consistent beter presteert dan andere op de voorgestelde benchmarkdatasets voor idee-retrieval en ND-taken. Codes en data zijn beschikbaar op https://anonymous.4open.science/r/NoveltyDetection-10FB/.

English

In an era of exponential scientific growth, identifying novel research ideas is crucial and challenging in academia. Despite potential, the lack of an appropriate benchmark dataset hinders the research of novelty detection. More importantly, simply adopting existing NLP technologies, e.g., retrieving and then cross-checking, is not a one-size-fits-all solution due to the gap between textual similarity and idea conception. In this paper, we propose to harness large language models (LLMs) for scientific novelty detection (ND), associated with two new datasets in marketing and NLP domains. To construct the considerate datasets for ND, we propose to extract closure sets of papers based on their relationship, and then summarize their main ideas based on LLMs. To capture idea conception, we propose to train a lightweight retriever by distilling the idea-level knowledge from LLMs to align ideas with similar conception, enabling efficient and accurate idea retrieval for LLM novelty detection. Experiments show our method consistently outperforms others on the proposed benchmark datasets for idea retrieval and ND tasks. Codes and data are available at https://anonymous.4open.science/r/NoveltyDetection-10FB/.