Criatividade Combinatória: Uma Nova Fronteira nas Habilidades de Generalização

Combinatorial Creativity: A New Frontier in Generalization Abilities

September 25, 2025

Autores: Samuel Schapiro, Sumuk Shashidhar, Alexi Gladstone, Jonah Black, Royce Moon, Dilek Hakkani-Tur, Lav R. Varshney

cs.AI

Resumo

Sistemas de inteligência artificial (IA), e particularmente os Modelos de Linguagem de Grande Escala (LLMs), estão sendo cada vez mais empregados em tarefas criativas, como a geração de ideias científicas, constituindo uma forma de generalização a partir de dados de treinamento que não é abordada pelos frameworks conceituais existentes. Apesar de suas semelhanças com a generalização composicional (CG), a criatividade combinatória (CC) é uma habilidade de natureza aberta. Em vez de avaliar a precisão ou correção em relação a objetivos fixos, o que contradiria a natureza aberta da CC, propomos um framework teórico e uma tarefa algorítmica para avaliar as saídas com base em seus graus de novidade e utilidade. A partir disso, fazemos várias contribuições empíricas importantes: (1) Obtemos os primeiros insights sobre o comportamento de escalonamento da criatividade em LLMs. (2) Descobrimos que, para orçamentos de computação fixos, existem profundidades e larguras ótimas de modelos para a capacidade criativa. (3) Constatamos que a lacuna entre ideação e execução, na qual os LLMs se destacam na geração de ideias científicas novas, mas lutam para garantir sua viabilidade prática, pode ser explicada por uma troca mais fundamental entre novidade e utilidade, característica de algoritmos de criatividade em geral. Importante destacar que essa troca persiste mesmo em escala, lançando dúvidas sobre o potencial criativo de longo prazo dos LLMs em sua forma atual. Juntos, nosso framework conceitual e descobertas empíricas fornecem uma base para entender e melhorar a criatividade em modelos modernos de IA, aproximando a inteligência humana e a artificial.

English

Artificial intelligence (AI) systems, and Large Language Models (LLMs) in particular, are increasingly employed for creative tasks like scientific idea generation, constituting a form of generalization from training data unaddressed by existing conceptual frameworks. Despite its similarities to compositional generalization (CG), combinatorial creativity (CC) is an open-ended ability. Instead of evaluating for accuracy or correctness against fixed targets, which would contradict the open-ended nature of CC, we propose a theoretical framework and algorithmic task for evaluating outputs by their degrees of novelty and utility. From here, we make several important empirical contributions: (1) We obtain the first insights into the scaling behavior of creativity for LLMs. (2) We discover that, for fixed compute budgets, there exist optimal model depths and widths for creative ability. (3) We find that the ideation-execution gap, whereby LLMs excel at generating novel scientific ideas but struggle to ensure their practical feasibility, may be explained by a more fundamental novelty-utility tradeoff characteristic of creativity algorithms in general. Importantly, this tradeoff remains persistent even at scale, casting doubt on the long-term creative potential of LLMs in their current form. Together, our conceptual framework and empirical findings provide a foundation for understanding and improving creativity in modern AI models, bridging the gap between human and machine intelligence.