조합적 창의성: 일반화 능력의 새로운 지평

초록

인공지능(AI) 시스템, 특히 대형 언어 모델(LLMs)은 과학적 아이디어 생성과 같은 창의적 작업에 점점 더 많이 활용되고 있으며, 이는 기존 개념적 틀로는 다루지 못한 훈련 데이터의 일반화 형태를 구성합니다. 조합적 일반화(compositional generalization, CG)와 유사하지만, 조합적 창의성(combinatorial creativity, CC)은 개방형 능력입니다. CC의 개방형 특성과 상충되는 고정된 목표에 대한 정확성이나 올바름을 평가하는 대신, 우리는 산출물의 참신성과 유용성의 정도를 평가하기 위한 이론적 틀과 알고리즘적 작업을 제안합니다. 이를 바탕으로 우리는 몇 가지 중요한 실증적 기여를 합니다: (1) LLMs의 창의성에 대한 확장 행태에 대한 첫 번째 통찰을 얻습니다. (2) 고정된 컴퓨팅 예산 내에서 창의적 능력을 위한 최적의 모델 깊이와 폭이 존재함을 발견합니다. (3) LLMs가 새로운 과학적 아이디어를 생성하는 데는 뛰어나지만 그 실현 가능성을 보장하는 데는 어려움을 겪는 아이디어-실행 간극(ideation-execution gap)이 창의성 알고리즘 전반에 특징적인 더 근본적인 참신성-유용성 트레이드오프로 설명될 수 있음을 발견합니다. 중요한 것은, 이 트레이드오프는 규모가 커져도 지속적으로 남아, 현재 형태의 LLMs의 장기적 창의적 잠재력에 의문을 제기합니다. 우리의 개념적 틀과 실증적 발견은 현대 AI 모델의 창의성을 이해하고 개선하는 데 기초를 제공하며, 인간과 기계 지능 간의 격차를 줄이는 데 기여합니다.

English

Artificial intelligence (AI) systems, and Large Language Models (LLMs) in particular, are increasingly employed for creative tasks like scientific idea generation, constituting a form of generalization from training data unaddressed by existing conceptual frameworks. Despite its similarities to compositional generalization (CG), combinatorial creativity (CC) is an open-ended ability. Instead of evaluating for accuracy or correctness against fixed targets, which would contradict the open-ended nature of CC, we propose a theoretical framework and algorithmic task for evaluating outputs by their degrees of novelty and utility. From here, we make several important empirical contributions: (1) We obtain the first insights into the scaling behavior of creativity for LLMs. (2) We discover that, for fixed compute budgets, there exist optimal model depths and widths for creative ability. (3) We find that the ideation-execution gap, whereby LLMs excel at generating novel scientific ideas but struggle to ensure their practical feasibility, may be explained by a more fundamental novelty-utility tradeoff characteristic of creativity algorithms in general. Importantly, this tradeoff remains persistent even at scale, casting doubt on the long-term creative potential of LLMs in their current form. Together, our conceptual framework and empirical findings provide a foundation for understanding and improving creativity in modern AI models, bridging the gap between human and machine intelligence.

조합적 창의성: 일반화 능력의 새로운 지평

Combinatorial Creativity: A New Frontier in Generalization Abilities

초록

Support