Kunnen grote taalmodellen nieuwe wetenschappelijke onderzoeksideeën ontsluiten?

Can Large Language Models Unlock Novel Scientific Research Ideas?

September 10, 2024

Auteurs: Sandeep Kumar, Tirthankar Ghosal, Vinayak Goyal, Asif Ekbal

cs.AI

Samenvatting

"Een idee is niets meer en niets minder dan een nieuwe combinatie van oude elementen" (Young, J.W.). De wijdverbreide adoptie van Grote Taalmodellen (GTM's) en publiekelijk beschikbare ChatGPT hebben een belangrijk keerpunt gemarkeerd in de integratie van Kunstmatige Intelligentie (AI) in het dagelijks leven van mensen. Deze studie onderzoekt de capaciteit van GTM's om nieuwe onderzoeksideeën te genereren op basis van informatie uit onderzoeksartikelen. We voeren een grondig onderzoek uit naar 4 GTM's in vijf domeinen (bijv. Chemie, Computer, Economie, Medisch en Natuurkunde). We hebben vastgesteld dat de toekomstige onderzoeksideeën die worden gegenereerd door Claude-2 en GPT-4 meer in lijn zijn met het perspectief van de auteur dan die van GPT-3.5 en Gemini. We hebben ook vastgesteld dat Claude-2 meer diverse toekomstige onderzoeksideeën genereert dan GPT-4, GPT-3.5 en Gemini 1.0. We hebben vervolgens een menselijke evaluatie uitgevoerd van de nieuwheid, relevantie en haalbaarheid van de gegenereerde toekomstige onderzoeksideeën. Dit onderzoek biedt inzichten in de evoluerende rol van GTM's in ideeëngeneratie, waarbij zowel de capaciteiten als de beperkingen worden benadrukt. Ons werk draagt bij aan de lopende inspanningen om taalmodellen te evalueren en te gebruiken voor het genereren van toekomstige onderzoeksideeën. We stellen onze datasets en codes openbaar beschikbaar.

English

"An idea is nothing more nor less than a new combination of old elements" (Young, J.W.). The widespread adoption of Large Language Models (LLMs) and publicly available ChatGPT have marked a significant turning point in the integration of Artificial Intelligence (AI) into people's everyday lives. This study explores the capability of LLMs in generating novel research ideas based on information from research papers. We conduct a thorough examination of 4 LLMs in five domains (e.g., Chemistry, Computer, Economics, Medical, and Physics). We found that the future research ideas generated by Claude-2 and GPT-4 are more aligned with the author's perspective than GPT-3.5 and Gemini. We also found that Claude-2 generates more diverse future research ideas than GPT-4, GPT-3.5, and Gemini 1.0. We further performed a human evaluation of the novelty, relevancy, and feasibility of the generated future research ideas. This investigation offers insights into the evolving role of LLMs in idea generation, highlighting both its capability and limitations. Our work contributes to the ongoing efforts in evaluating and utilizing language models for generating future research ideas. We make our datasets and codes publicly available.