Possono i Grandi Modelli Linguistici Sbloccare Nuove Idee per la Ricerca Scientifica?

Can Large Language Models Unlock Novel Scientific Research Ideas?

September 10, 2024

Autori: Sandeep Kumar, Tirthankar Ghosal, Vinayak Goyal, Asif Ekbal

cs.AI

Abstract

"Un'idea non è altro che una nuova combinazione di vecchi elementi" (Young, J.W.). L'ampia adozione dei Grandi Modelli Linguistici (LLM) e di ChatGPT disponibili pubblicamente ha segnato un significativo punto di svolta nell'integrazione dell'Intelligenza Artificiale (IA) nella vita quotidiana delle persone. Questo studio esplora la capacità dei LLM nella generazione di nuove idee di ricerca basate sulle informazioni provenienti dai paper di ricerca. Abbiamo condotto un'esame approfondito di 4 LLM in cinque domini (ad esempio, Chimica, Informatica, Economia, Medicina e Fisica). Abbiamo scoperto che le future idee di ricerca generate da Claude-2 e GPT-4 sono più allineate alla prospettiva dell'autore rispetto a GPT-3.5 e Gemini. Abbiamo inoltre riscontrato che Claude-2 genera idee di ricerca future più diverse rispetto a GPT-4, GPT-3.5 e Gemini 1.0. Abbiamo inoltre condotto una valutazione umana della novità, rilevanza e fattibilità delle future idee di ricerca generate. Questa indagine offre spunti sul ruolo in evoluzione dei LLM nella generazione di idee, evidenziandone sia le capacità che i limiti. Il nostro lavoro contribuisce agli sforzi in corso per valutare e utilizzare i modelli linguistici per generare future idee di ricerca. Mettiamo a disposizione pubblicamente i nostri dataset e codici.

English

"An idea is nothing more nor less than a new combination of old elements" (Young, J.W.). The widespread adoption of Large Language Models (LLMs) and publicly available ChatGPT have marked a significant turning point in the integration of Artificial Intelligence (AI) into people's everyday lives. This study explores the capability of LLMs in generating novel research ideas based on information from research papers. We conduct a thorough examination of 4 LLMs in five domains (e.g., Chemistry, Computer, Economics, Medical, and Physics). We found that the future research ideas generated by Claude-2 and GPT-4 are more aligned with the author's perspective than GPT-3.5 and Gemini. We also found that Claude-2 generates more diverse future research ideas than GPT-4, GPT-3.5, and Gemini 1.0. We further performed a human evaluation of the novelty, relevancy, and feasibility of the generated future research ideas. This investigation offers insights into the evolving role of LLMs in idea generation, highlighting both its capability and limitations. Our work contributes to the ongoing efforts in evaluating and utilizing language models for generating future research ideas. We make our datasets and codes publicly available.