大規模言語モデルは新しい科学研究のアイデアを開拓できるか？

Can Large Language Models Unlock Novel Scientific Research Ideas?

September 10, 2024

著者: Sandeep Kumar, Tirthankar Ghosal, Vinayak Goyal, Asif Ekbal

cs.AI

要旨

「アイデアとは、新しい組み合わせに過ぎない古い要素の新たな組み合わせである」とYoung, J.W.は述べています。大規模言語モデル（LLMs）の広範な採用と一般に利用可能なChatGPTは、人々の日常生活への人工知能（AI）の統合において重要な転換点を示しています。本研究では、研究論文からの情報に基づいて新しい研究アイデアを生成するLLMsの能力を探究しています。化学、コンピュータ、経済学、医学、物理学の5つの領域で4つのLLMsを徹底的に調査しました。その結果、Claude-2とGPT-4によって生成された将来の研究アイデアは、GPT-3.5とGeminiよりも著者の視点とより一致していることが分かりました。また、Claude-2はGPT-4、GPT-3.5、Gemini 1.0よりも多様な将来の研究アイデアを生成することが分かりました。さらに、生成された将来の研究アイデアの新規性、関連性、実現可能性を人間による評価も行いました。この調査は、アイデア生成におけるLLMsの進化する役割についての示唆を提供し、その能力と限界の両方を強調しています。私たちの研究は、将来の研究アイデアを生成するために言語モデルを評価し活用する取り組みに貢献しています。データセットとコードは公開されています。

English

"An idea is nothing more nor less than a new combination of old elements" (Young, J.W.). The widespread adoption of Large Language Models (LLMs) and publicly available ChatGPT have marked a significant turning point in the integration of Artificial Intelligence (AI) into people's everyday lives. This study explores the capability of LLMs in generating novel research ideas based on information from research papers. We conduct a thorough examination of 4 LLMs in five domains (e.g., Chemistry, Computer, Economics, Medical, and Physics). We found that the future research ideas generated by Claude-2 and GPT-4 are more aligned with the author's perspective than GPT-3.5 and Gemini. We also found that Claude-2 generates more diverse future research ideas than GPT-4, GPT-3.5, and Gemini 1.0. We further performed a human evaluation of the novelty, relevancy, and feasibility of the generated future research ideas. This investigation offers insights into the evolving role of LLMs in idea generation, highlighting both its capability and limitations. Our work contributes to the ongoing efforts in evaluating and utilizing language models for generating future research ideas. We make our datasets and codes publicly available.