Créativité Combinatoire : Une Nouvelle Frontière dans les Capacités de Généralisation

papers.abstract

Les systèmes d'intelligence artificielle (IA), et en particulier les modèles de langage de grande taille (LLM), sont de plus en plus utilisés pour des tâches créatives telles que la génération d'idées scientifiques, constituant ainsi une forme de généralisation à partir de données d'entraînement qui n'est pas abordée par les cadres conceptuels existants. Bien qu'elle présente des similitudes avec la généralisation compositionnelle (CG), la créativité combinatoire (CC) est une capacité ouverte. Plutôt que d'évaluer la précision ou l'exactitude par rapport à des cibles fixes, ce qui contredirait la nature ouverte de la CC, nous proposons un cadre théorique et une tâche algorithmique pour évaluer les productions en fonction de leur degré de nouveauté et d'utilité. À partir de là, nous apportons plusieurs contributions empiriques importantes : (1) Nous obtenons les premiers aperçus du comportement de mise à l'échelle de la créativité pour les LLM. (2) Nous découvrons que, pour des budgets de calcul fixes, il existe des profondeurs et des largeurs optimales de modèles pour la capacité créative. (3) Nous constatons que l'écart entre l'idéation et l'exécution, où les LLM excellent à générer des idées scientifiques novatrices mais peinent à en assurer la faisabilité pratique, pourrait s'expliquer par un compromis plus fondamental entre nouveauté et utilité, caractéristique des algorithmes de créativité en général. De manière cruciale, ce compromis persiste même à grande échelle, jetant un doute sur le potentiel créatif à long terme des LLM dans leur forme actuelle. Ensemble, notre cadre conceptuel et nos résultats empiriques fournissent une base pour comprendre et améliorer la créativité dans les modèles d'IA modernes, comblant ainsi l'écart entre l'intelligence humaine et l'intelligence artificielle.

English

Artificial intelligence (AI) systems, and Large Language Models (LLMs) in particular, are increasingly employed for creative tasks like scientific idea generation, constituting a form of generalization from training data unaddressed by existing conceptual frameworks. Despite its similarities to compositional generalization (CG), combinatorial creativity (CC) is an open-ended ability. Instead of evaluating for accuracy or correctness against fixed targets, which would contradict the open-ended nature of CC, we propose a theoretical framework and algorithmic task for evaluating outputs by their degrees of novelty and utility. From here, we make several important empirical contributions: (1) We obtain the first insights into the scaling behavior of creativity for LLMs. (2) We discover that, for fixed compute budgets, there exist optimal model depths and widths for creative ability. (3) We find that the ideation-execution gap, whereby LLMs excel at generating novel scientific ideas but struggle to ensure their practical feasibility, may be explained by a more fundamental novelty-utility tradeoff characteristic of creativity algorithms in general. Importantly, this tradeoff remains persistent even at scale, casting doubt on the long-term creative potential of LLMs in their current form. Together, our conceptual framework and empirical findings provide a foundation for understanding and improving creativity in modern AI models, bridging the gap between human and machine intelligence.

Créativité Combinatoire : Une Nouvelle Frontière dans les Capacités de Généralisation

Combinatorial Creativity: A New Frontier in Generalization Abilities

papers.abstract

Support