LLMは新しい研究アイデアを生み出せるか？100人以上のNLP研究者による大規模な人間研究

Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers

September 6, 2024

著者: Chenglei Si, Diyi Yang, Tatsunori Hashimoto

cs.AI

要旨

最近の大規模言語モデル（LLMs）の進歩により、科学的発見を加速させる可能性に対する楽観論が高まっており、新しいアイデアを自律的に生成および検証する研究エージェントを提案する作品が増加しています。しかしながら、LLMシステムが新規で専門レベルのアイデアを生み出すという最初の段階を踏むことはもちろん、研究プロセス全体を遂行することができるかどうかを示す評価はまだ行われていません。私たちは、交絡要因をコントロールしながら研究アイデアの生成を評価し、専門のNLP研究者とLLMのアイデーションエージェントとの初の対決を行う実験設計を確立することで、この課題に取り組んでいます。100人以上のNLP研究者を募集し、新しいアイデアを書かせ、LLMと人間のアイデアの盲目的なレビューを行うことで、現在のLLMの研究アイデーション能力に関する初の統計的に有意な結論を得ます：LLMが生成したアイデアは、人間の専門家のアイデアよりも新規性が高く（p < 0.05）、実現可能性についてはわずかに弱いと判断されます。エージェントのベースラインを詳細に調査することで、LLMの自己評価の失敗や生成における多様性の不足など、研究エージェントの構築と評価における課題を特定します。最後に、専門家であっても新規性の判断が難しいことを認識し、研究者を募集してこれらのアイデアを完全なプロジェクトに実行させるエンドツーエンドの研究設計を提案し、これらの新規性と実現可能性の判断が研究成果において意味のある違いをもたらすかどうかを調査することができるようにします。

English

Recent advancements in large language models (LLMs) have sparked optimism about their potential to accelerate scientific discovery, with a growing number of works proposing research agents that autonomously generate and validate new ideas. Despite this, no evaluations have shown that LLM systems can take the very first step of producing novel, expert-level ideas, let alone perform the entire research process. We address this by establishing an experimental design that evaluates research idea generation while controlling for confounders and performs the first head-to-head comparison between expert NLP researchers and an LLM ideation agent. By recruiting over 100 NLP researchers to write novel ideas and blind reviews of both LLM and human ideas, we obtain the first statistically significant conclusion on current LLM capabilities for research ideation: we find LLM-generated ideas are judged as more novel (p < 0.05) than human expert ideas while being judged slightly weaker on feasibility. Studying our agent baselines closely, we identify open problems in building and evaluating research agents, including failures of LLM self-evaluation and their lack of diversity in generation. Finally, we acknowledge that human judgements of novelty can be difficult, even by experts, and propose an end-to-end study design which recruits researchers to execute these ideas into full projects, enabling us to study whether these novelty and feasibility judgements result in meaningful differences in research outcome.