Creatividad Combinatoria: Una Nueva Frontera en las Habilidades de Generalización

Resumen

Los sistemas de inteligencia artificial (IA), y en particular los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), se emplean cada vez más para tareas creativas, como la generación de ideas científicas, lo que constituye una forma de generalización a partir de datos de entrenamiento no abordada por los marcos conceptuales existentes. A pesar de sus similitudes con la generalización composicional (CG), la creatividad combinatoria (CC) es una habilidad de naturaleza abierta. En lugar de evaluar la precisión o corrección frente a objetivos fijos, lo que contradiría la naturaleza abierta de la CC, proponemos un marco teórico y una tarea algorítmica para evaluar las salidas según su grado de novedad y utilidad. A partir de esto, realizamos varias contribuciones empíricas importantes: (1) Obtenemos las primeras perspectivas sobre el comportamiento de escalabilidad de la creatividad en los LLMs. (2) Descubrimos que, para presupuestos de cómputo fijos, existen profundidades y anchuras óptimas de los modelos para la capacidad creativa. (3) Encontramos que la brecha entre ideación y ejecución, por la cual los LLMs sobresalen en la generación de ideas científicas novedosas pero luchan por garantizar su viabilidad práctica, puede explicarse por un equilibrio fundamental entre novedad y utilidad característico de los algoritmos de creatividad en general. Importante, este equilibrio persiste incluso a gran escala, lo que pone en duda el potencial creativo a largo plazo de los LLMs en su forma actual. Juntos, nuestro marco conceptual y los hallazgos empíricos proporcionan una base para comprender y mejorar la creatividad en los modelos modernos de IA, cerrando la brecha entre la inteligencia humana y la máquina.

English

Artificial intelligence (AI) systems, and Large Language Models (LLMs) in particular, are increasingly employed for creative tasks like scientific idea generation, constituting a form of generalization from training data unaddressed by existing conceptual frameworks. Despite its similarities to compositional generalization (CG), combinatorial creativity (CC) is an open-ended ability. Instead of evaluating for accuracy or correctness against fixed targets, which would contradict the open-ended nature of CC, we propose a theoretical framework and algorithmic task for evaluating outputs by their degrees of novelty and utility. From here, we make several important empirical contributions: (1) We obtain the first insights into the scaling behavior of creativity for LLMs. (2) We discover that, for fixed compute budgets, there exist optimal model depths and widths for creative ability. (3) We find that the ideation-execution gap, whereby LLMs excel at generating novel scientific ideas but struggle to ensure their practical feasibility, may be explained by a more fundamental novelty-utility tradeoff characteristic of creativity algorithms in general. Importantly, this tradeoff remains persistent even at scale, casting doubt on the long-term creative potential of LLMs in their current form. Together, our conceptual framework and empirical findings provide a foundation for understanding and improving creativity in modern AI models, bridging the gap between human and machine intelligence.

Creatividad Combinatoria: Una Nueva Frontera en las Habilidades de Generalización

Combinatorial Creativity: A New Frontier in Generalization Abilities

Resumen

Support