Комбинаторное творчество: Новый рубеж в способностях к обобщению

Combinatorial Creativity: A New Frontier in Generalization Abilities

September 25, 2025

Авторы: Samuel Schapiro, Sumuk Shashidhar, Alexi Gladstone, Jonah Black, Royce Moon, Dilek Hakkani-Tur, Lav R. Varshney

cs.AI

Аннотация

Системы искусственного интеллекта (ИИ), и в частности крупные языковые модели (LLM), всё чаще используются для выполнения творческих задач, таких как генерация научных идей, что представляет собой форму обобщения на основе обучающих данных, не охваченную существующими концептуальными рамками. Несмотря на сходство с композиционным обобщением (CG), комбинаторное творчество (CC) является открытой способностью. Вместо оценки точности или корректности по фиксированным критериям, что противоречило бы открытой природе CC, мы предлагаем теоретическую основу и алгоритмическую задачу для оценки результатов по степени их новизны и полезности. На этой основе мы делаем несколько важных эмпирических выводов: (1) Мы впервые получаем представление о масштабируемости творческих способностей LLM. (2) Мы обнаруживаем, что при фиксированных вычислительных ресурсах существуют оптимальные глубина и ширина модели для творческих способностей. (3) Мы выясняем, что разрыв между генерацией идей и их реализацией, при котором LLM преуспевают в создании новых научных идей, но испытывают трудности с обеспечением их практической осуществимости, может быть объяснён более фундаментальным компромиссом между новизной и полезностью, характерным для алгоритмов творчества в целом. Важно отметить, что этот компромисс сохраняется даже при масштабировании, что ставит под сомнение долгосрочный творческий потенциал LLM в их текущей форме. Вместе наша концептуальная основа и эмпирические результаты закладывают фундамент для понимания и улучшения творческих способностей современных моделей ИИ, сокращая разрыв между человеческим и машинным интеллектом.

English

Artificial intelligence (AI) systems, and Large Language Models (LLMs) in particular, are increasingly employed for creative tasks like scientific idea generation, constituting a form of generalization from training data unaddressed by existing conceptual frameworks. Despite its similarities to compositional generalization (CG), combinatorial creativity (CC) is an open-ended ability. Instead of evaluating for accuracy or correctness against fixed targets, which would contradict the open-ended nature of CC, we propose a theoretical framework and algorithmic task for evaluating outputs by their degrees of novelty and utility. From here, we make several important empirical contributions: (1) We obtain the first insights into the scaling behavior of creativity for LLMs. (2) We discover that, for fixed compute budgets, there exist optimal model depths and widths for creative ability. (3) We find that the ideation-execution gap, whereby LLMs excel at generating novel scientific ideas but struggle to ensure their practical feasibility, may be explained by a more fundamental novelty-utility tradeoff characteristic of creativity algorithms in general. Importantly, this tradeoff remains persistent even at scale, casting doubt on the long-term creative potential of LLMs in their current form. Together, our conceptual framework and empirical findings provide a foundation for understanding and improving creativity in modern AI models, bridging the gap between human and machine intelligence.