AInstein: 研究課題に対するAI生成アプローチの実現可能性評価

要旨

大規模言語モデル（LLM）は、幅広いタスクにおいて印象的な能力を示すが、その成功が真の推論によるものか、洗練された記憶によるものかは依然として不明である。本論文では、AInsteinというフレームワークを紹介する。これは、LLMが事前学習されたパラメトリック知識のみを使用して、ドメイン固有のファインチューニング、検索拡張、その他の外部支援なしに、AI研究問題に対する有効な解決策を生成できるかどうかをテストするものである。我々のアプローチでは、ICLR 2025の高品質な投稿から蒸留された問題文を抽出し、専門のソルバーエージェントに技術的解決策を提案させ、反復的な批判ループを通じて洗練させる。これは、科学的探究の中核である提案、レビュー、修正のサイクルを模倣するものである。AInsteinを、採択層（Oral、Spotlight、Poster）ごとに層別化した1,214件のICLR論文で評価し、構造化されたルーブリックに基づくLLM-as-a-judgeパラダイムを使用し、ターゲットを絞った手動チェックを補完する。評価は、成功率（解決策が問題に対処しているか？）、再発見（人間が提案した手法と一致するか？）、新規性（有効でオリジナルのアプローチを生み出すか？）の3つの指標で行う。結果は、LLMが実行可能な解決策を再発見し、時には創造的な代替案を提案できる一方で、その問題解決能力は脆弱で、フレーミングに非常に敏感であることを明らかにした。これらの発見は、LLMが自律的な科学的問題解決者としてどの程度機能し得るかについての初めての大規模な証拠を提供し、その潜在的可能性と現在の限界を浮き彫りにするものである。

English

Large language models (LLMs) demonstrate impressive capabilities across a wide range of tasks, yet it remains unclear whether such success reflects genuine reasoning or sophisticated recall. We introduce AInstein, a framework for testing whether LLMs can generate valid solutions to AI research problems using only their pretrained parametric knowledge -- without domain-specific fine-tuning, retrieval augmentation, or other external aids. Our approach extracts distilled problem statements from high-quality ICLR 2025 submissions, then tasks specialized solver agents with proposing and refining technical solutions through iterative critique loops, mimicking the cycles of proposal, review, and revision central to scientific inquiry. We evaluate AInstein on 1,214 ICLR papers stratified by acceptance tier (Oral, Spotlight, Poster), using an LLM-as-a-judge paradigm guided by a structured rubric, complemented by targeted manual checks. Performance is assessed with three metrics: Success Rate (does the solution address the problem?), Rediscovery (does it align with human-proposed methods?), and Novelty (does it yield valid, original approaches?). Our results reveal that while LLMs can rediscover feasible solutions and occasionally propose creative alternatives, their problem-solving ability remains fragile and highly sensitive to framing. These findings provide the first large-scale evidence on the extent to which LLMs can act as autonomous scientific problem-solvers, highlighting both their latent potential and their current limitations.

AInstein: 研究課題に対するAI生成アプローチの実現可能性評価

AInstein: Assessing the Feasibility of AI-Generated Approaches to Research Problems

要旨

Support