Combinatorische Creativiteit: Een Nieuw Grensgebied in Generalisatievermogens

Combinatorial Creativity: A New Frontier in Generalization Abilities

September 25, 2025

Auteurs: Samuel Schapiro, Sumuk Shashidhar, Alexi Gladstone, Jonah Black, Royce Moon, Dilek Hakkani-Tur, Lav R. Varshney

cs.AI

Samenvatting

Kunstmatige intelligentie (AI) systemen, en met name Large Language Models (LLM's), worden steeds vaker ingezet voor creatieve taken zoals het genereren van wetenschappelijke ideeën, wat een vorm van generalisatie van trainingsdata vormt die niet wordt behandeld door bestaande conceptuele kaders. Ondanks de overeenkomsten met compositionele generalisatie (CG), is combinatorische creativiteit (CC) een open-eindig vermogen. In plaats van te evalueren op nauwkeurigheid of correctheid tegenover vaste doelen, wat in tegenspraak zou zijn met het open-eindige karakter van CC, stellen we een theoretisch kader en een algoritmische taak voor om outputs te beoordelen op basis van hun mate van nieuwheid en nut. Vanuit hier leveren we verschillende belangrijke empirische bijdragen: (1) We verkrijgen de eerste inzichten in het schaalgedrag van creativiteit voor LLM's. (2) We ontdekken dat er, voor vaste rekenbudgetten, optimale modeldieptes en -breedtes bestaan voor creatief vermogen. (3) We constateren dat de kloof tussen ideeënvorming en uitvoering, waarbij LLM's uitblinken in het genereren van nieuwe wetenschappelijke ideeën maar moeite hebben om hun praktische haalbaarheid te waarborgen, verklaard kan worden door een meer fundamentele afweging tussen nieuwheid en nut die kenmerkend is voor creativiteitsalgoritmen in het algemeen. Belangrijk is dat deze afweging zelfs op schaal persistent blijft, wat twijfel zaait over het langetermijncreatieve potentieel van LLM's in hun huidige vorm. Samen bieden ons conceptuele kader en empirische bevindingen een basis voor het begrijpen en verbeteren van creativiteit in moderne AI-modellen, waardoor de kloof tussen menselijke en machine-intelligentie wordt overbrugd.

English

Artificial intelligence (AI) systems, and Large Language Models (LLMs) in particular, are increasingly employed for creative tasks like scientific idea generation, constituting a form of generalization from training data unaddressed by existing conceptual frameworks. Despite its similarities to compositional generalization (CG), combinatorial creativity (CC) is an open-ended ability. Instead of evaluating for accuracy or correctness against fixed targets, which would contradict the open-ended nature of CC, we propose a theoretical framework and algorithmic task for evaluating outputs by their degrees of novelty and utility. From here, we make several important empirical contributions: (1) We obtain the first insights into the scaling behavior of creativity for LLMs. (2) We discover that, for fixed compute budgets, there exist optimal model depths and widths for creative ability. (3) We find that the ideation-execution gap, whereby LLMs excel at generating novel scientific ideas but struggle to ensure their practical feasibility, may be explained by a more fundamental novelty-utility tradeoff characteristic of creativity algorithms in general. Importantly, this tradeoff remains persistent even at scale, casting doubt on the long-term creative potential of LLMs in their current form. Together, our conceptual framework and empirical findings provide a foundation for understanding and improving creativity in modern AI models, bridging the gap between human and machine intelligence.