Können große Sprachmodelle neue wissenschaftliche Forschungsideen freisetzen?

Can Large Language Models Unlock Novel Scientific Research Ideas?

September 10, 2024

Autoren: Sandeep Kumar, Tirthankar Ghosal, Vinayak Goyal, Asif Ekbal

cs.AI

Zusammenfassung

"Ein Gedanke ist nichts mehr und nichts weniger als eine neue Kombination alter Elemente" (Young, J.W.). Die weit verbreitete Verwendung von Large Language Models (LLMs) und öffentlich zugänglichen ChatGPT haben einen bedeutenden Wendepunkt in die Integration von Künstlicher Intelligenz (KI) in den Alltag der Menschen markiert. Diese Studie untersucht die Fähigkeit von LLMs, basierend auf Informationen aus Forschungsarbeiten neue Forschungsideen zu generieren. Wir führen eine gründliche Untersuchung von 4 LLMs in fünf Bereichen (z.B. Chemie, Informatik, Wirtschaftswissenschaften, Medizin und Physik) durch. Wir stellten fest, dass die zukünftigen Forschungsideen, die von Claude-2 und GPT-4 generiert wurden, stärker mit der Perspektive des Autors übereinstimmen als bei GPT-3.5 und Gemini. Wir stellten auch fest, dass Claude-2 vielfältigere zukünftige Forschungsideen generiert als GPT-4, GPT-3.5 und Gemini 1.0. Darüber hinaus führten wir eine menschliche Bewertung der Neuheit, Relevanz und Machbarkeit der generierten zukünftigen Forschungsideen durch. Diese Untersuchung bietet Einblicke in die sich entwickelnde Rolle von LLMs bei der Ideengenerierung und hebt sowohl ihre Fähigkeiten als auch ihre Grenzen hervor. Unsere Arbeit trägt zu den laufenden Bemühungen bei, Sprachmodelle zur Generierung zukünftiger Forschungsideen zu bewerten und zu nutzen. Wir stellen unsere Datensätze und Codes öffentlich zur Verfügung.

English

"An idea is nothing more nor less than a new combination of old elements" (Young, J.W.). The widespread adoption of Large Language Models (LLMs) and publicly available ChatGPT have marked a significant turning point in the integration of Artificial Intelligence (AI) into people's everyday lives. This study explores the capability of LLMs in generating novel research ideas based on information from research papers. We conduct a thorough examination of 4 LLMs in five domains (e.g., Chemistry, Computer, Economics, Medical, and Physics). We found that the future research ideas generated by Claude-2 and GPT-4 are more aligned with the author's perspective than GPT-3.5 and Gemini. We also found that Claude-2 generates more diverse future research ideas than GPT-4, GPT-3.5, and Gemini 1.0. We further performed a human evaluation of the novelty, relevancy, and feasibility of the generated future research ideas. This investigation offers insights into the evolving role of LLMs in idea generation, highlighting both its capability and limitations. Our work contributes to the ongoing efforts in evaluating and utilizing language models for generating future research ideas. We make our datasets and codes publicly available.