組み合わせ的創造性：汎化能力の新たなフロンティア

Combinatorial Creativity: A New Frontier in Generalization Abilities

September 25, 2025

著者: Samuel Schapiro, Sumuk Shashidhar, Alexi Gladstone, Jonah Black, Royce Moon, Dilek Hakkani-Tur, Lav R. Varshney

cs.AI

要旨

人工知能（AI）システム、特に大規模言語モデル（LLM）は、科学的アイデア生成などの創造的タスクにますます活用されており、これは既存の概念的フレームワークでは扱われていない訓練データからの一般化の一形態を構成しています。組み合わせ的汎化（CG）との類似性にもかかわらず、組み合わせ的創造性（CC）は開放的な能力です。CCの開放的な性質に反する固定された目標に対する正確さや正しさを評価する代わりに、我々は出力の新規性と有用性の度合いを評価するための理論的フレームワークとアルゴリズム的タスクを提案します。ここから、いくつかの重要な実証的貢献を行います：（1）LLMの創造性のスケーリング挙動に関する最初の知見を得ます。（2）固定された計算予算において、創造的能力に最適なモデルの深さと幅が存在することを発見します。（3）LLMが新規な科学的アイデアを生成するのは得意であるが、その実現可能性を確保するのに苦労するというアイデア生成と実行のギャップは、一般的な創造性アルゴリズムに特徴的な新規性と有用性のトレードオフによって説明できる可能性があります。重要なことに、このトレードオフはスケールが大きくなっても持続し、現在の形式でのLLMの長期的な創造的潜在能力に疑問を投げかけます。我々の概念的フレームワークと実証的発見は、現代のAIモデルにおける創造性を理解し改善するための基盤を提供し、人間と機械の知能の間のギャップを埋めるものです。

English

Artificial intelligence (AI) systems, and Large Language Models (LLMs) in particular, are increasingly employed for creative tasks like scientific idea generation, constituting a form of generalization from training data unaddressed by existing conceptual frameworks. Despite its similarities to compositional generalization (CG), combinatorial creativity (CC) is an open-ended ability. Instead of evaluating for accuracy or correctness against fixed targets, which would contradict the open-ended nature of CC, we propose a theoretical framework and algorithmic task for evaluating outputs by their degrees of novelty and utility. From here, we make several important empirical contributions: (1) We obtain the first insights into the scaling behavior of creativity for LLMs. (2) We discover that, for fixed compute budgets, there exist optimal model depths and widths for creative ability. (3) We find that the ideation-execution gap, whereby LLMs excel at generating novel scientific ideas but struggle to ensure their practical feasibility, may be explained by a more fundamental novelty-utility tradeoff characteristic of creativity algorithms in general. Importantly, this tradeoff remains persistent even at scale, casting doubt on the long-term creative potential of LLMs in their current form. Together, our conceptual framework and empirical findings provide a foundation for understanding and improving creativity in modern AI models, bridging the gap between human and machine intelligence.