Sfruttare i Modelli Linguistici di Grande Scala per il Rilevamento della Novità Scientifica

Harnessing Large Language Models for Scientific Novelty Detection

May 30, 2025

Autori: Yan Liu, Zonglin Yang, Soujanya Poria, Thanh-Son Nguyen, Erik Cambria

cs.AI

Abstract

In un'era di crescita scientifica esponenziale, identificare nuove idee di ricerca è cruciale e impegnativo nel mondo accademico. Nonostante il potenziale, la mancanza di un dataset di riferimento appropriato ostacola la ricerca sulla rilevazione della novità. Ancora più importante, l'adozione semplice delle tecnologie NLP esistenti, ad esempio il recupero e il successivo controllo incrociato, non è una soluzione universale a causa del divario tra la similarità testuale e la concezione delle idee. In questo articolo, proponiamo di sfruttare i grandi modelli linguistici (LLM) per la rilevazione della novità scientifica (ND), associati a due nuovi dataset nei domini del marketing e dell'NLP. Per costruire dataset accurati per la ND, proponiamo di estrarre insiemi di chiusura di articoli basati sulle loro relazioni, e poi di riassumere le loro idee principali utilizzando gli LLM. Per catturare la concezione delle idee, proponiamo di addestrare un retriever leggero distillando la conoscenza a livello di idea dagli LLM per allineare idee con concezioni simili, consentendo un recupero efficiente e accurato delle idee per la rilevazione della novità tramite LLM. Gli esperimenti dimostrano che il nostro metodo supera costantemente gli altri sui dataset di benchmark proposti per le attività di recupero delle idee e di ND. Codici e dati sono disponibili all'indirizzo https://anonymous.4open.science/r/NoveltyDetection-10FB/.

English

In an era of exponential scientific growth, identifying novel research ideas is crucial and challenging in academia. Despite potential, the lack of an appropriate benchmark dataset hinders the research of novelty detection. More importantly, simply adopting existing NLP technologies, e.g., retrieving and then cross-checking, is not a one-size-fits-all solution due to the gap between textual similarity and idea conception. In this paper, we propose to harness large language models (LLMs) for scientific novelty detection (ND), associated with two new datasets in marketing and NLP domains. To construct the considerate datasets for ND, we propose to extract closure sets of papers based on their relationship, and then summarize their main ideas based on LLMs. To capture idea conception, we propose to train a lightweight retriever by distilling the idea-level knowledge from LLMs to align ideas with similar conception, enabling efficient and accurate idea retrieval for LLM novelty detection. Experiments show our method consistently outperforms others on the proposed benchmark datasets for idea retrieval and ND tasks. Codes and data are available at https://anonymous.4open.science/r/NoveltyDetection-10FB/.