Kombinatorische Kreativität: Eine neue Grenze der Generalisierungsfähigkeiten

papers.abstract

Künstliche Intelligenz (KI)-Systeme, insbesondere Large Language Models (LLMs), werden zunehmend für kreative Aufgaben wie die Generierung wissenschaftlicher Ideen eingesetzt, was eine Form der Generalisierung aus Trainingsdaten darstellt, die von bestehenden konzeptionellen Rahmenwerken nicht adressiert wird. Trotz ihrer Ähnlichkeit zur kompositionellen Generalisierung (CG) ist die kombinatorische Kreativität (CC) eine offene Fähigkeit. Anstatt die Genauigkeit oder Korrektheit gegenüber festen Zielen zu bewerten, was dem offenen Charakter von CC widersprechen würde, schlagen wir ein theoretisches Rahmenwerk und eine algorithmische Aufgabe vor, um die Ausgaben anhand ihrer Grade an Neuheit und Nützlichkeit zu bewerten. Darauf aufbauend leisten wir mehrere wichtige empirische Beiträge: (1) Wir gewinnen erste Einblicke in das Skalierungsverhalten der Kreativität von LLMs. (2) Wir entdecken, dass es für feste Rechenbudgets optimale Modelltiefen und -breiten für die kreative Fähigkeit gibt. (3) Wir finden, dass die Ideen-Umsetzungslücke, bei der LLMs zwar hervorragend darin sind, neue wissenschaftliche Ideen zu generieren, aber Schwierigkeiten haben, deren praktische Machbarkeit sicherzustellen, durch einen grundlegenderen Neuheit-Nützlichkeit-Kompromiss erklärt werden kann, der für Kreativitätsalgorithmen im Allgemeinen charakteristisch ist. Wichtig ist, dass dieser Kompromiss auch bei Skalierung bestehen bleibt, was Zweifel am langfristigen kreativen Potenzial von LLMs in ihrer derzeitigen Form aufwirft. Zusammen bilden unser konzeptionelles Rahmenwerk und unsere empirischen Erkenntnisse eine Grundlage für das Verständnis und die Verbesserung der Kreativität in modernen KI-Modellen und überbrücken die Lücke zwischen menschlicher und maschineller Intelligenz.

English

Artificial intelligence (AI) systems, and Large Language Models (LLMs) in particular, are increasingly employed for creative tasks like scientific idea generation, constituting a form of generalization from training data unaddressed by existing conceptual frameworks. Despite its similarities to compositional generalization (CG), combinatorial creativity (CC) is an open-ended ability. Instead of evaluating for accuracy or correctness against fixed targets, which would contradict the open-ended nature of CC, we propose a theoretical framework and algorithmic task for evaluating outputs by their degrees of novelty and utility. From here, we make several important empirical contributions: (1) We obtain the first insights into the scaling behavior of creativity for LLMs. (2) We discover that, for fixed compute budgets, there exist optimal model depths and widths for creative ability. (3) We find that the ideation-execution gap, whereby LLMs excel at generating novel scientific ideas but struggle to ensure their practical feasibility, may be explained by a more fundamental novelty-utility tradeoff characteristic of creativity algorithms in general. Importantly, this tradeoff remains persistent even at scale, casting doubt on the long-term creative potential of LLMs in their current form. Together, our conceptual framework and empirical findings provide a foundation for understanding and improving creativity in modern AI models, bridging the gap between human and machine intelligence.

Kombinatorische Kreativität: Eine neue Grenze der Generalisierungsfähigkeiten

Combinatorial Creativity: A New Frontier in Generalization Abilities

papers.abstract

Support