CreativeBench: Оценка и развитие машинного творчества с помощью саморазвивающихся задач

CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges

March 12, 2026

Авторы: Zi-Han Wang, Lam Nguyen, Zhengyang Zhao, Mengyue Yang, Chengwei Qin, Yujiu Yang, Linyi Yang

cs.AI

Аннотация

Исчерпание запасов высококачественных данных для предварительного обучения сместило фокус исследований в сторону эволюционных систем, способных непрерывно генерировать новые артефакты, что привело к успеху AlphaEvolve. Однако прогресс таких систем сдерживается отсутствием строгой количественной оценки. Для решения этой проблемы мы представляем CreativeBench — эталонный набор для оценки машинного творчества в генерации кода, основанный на классической когнитивной framework. Состоящий из двух подмножеств — CreativeBench-Combo и CreativeBench-Explore — бенчмарк нацелен на комбинаторное и исследовательское творчество через автоматизированный конвейер, использующий реверс-инжиниринг и самоигру. Используя исполняемый код, CreativeBench объективно отличает творчество от галлюцинаций с помощью единой метрики, определяемой как произведение качества и новизны. Наш анализ современных моделей выявляет различные модели поведения: (1) масштабирование значительно улучшает комбинаторное творчество, но дает убывающую отдачу для исследования; (2) более крупные модели демонстрируют «конвергенцию через масштабирование», становясь более корректными, но менее разнообразными; и (3) способности к рассуждению в основном помогают ограниченному исследованию, а не комбинации. Наконец, мы предлагаем EvoRePE, стратегию управления на этапе вывода типа «включи и работай», которая интериоризирует паттерны эволюционного поиска для последовательного повышения машинного творчества.

English

The saturation of high-quality pre-training data has shifted research focus toward evolutionary systems capable of continuously generating novel artifacts, leading to the success of AlphaEvolve. However, the progress of such systems is hindered by the lack of rigorous, quantitative evaluation. To tackle this challenge, we introduce CreativeBench, a benchmark for evaluating machine creativity in code generation, grounded in a classical cognitive framework. Comprising two subsets -- CreativeBench-Combo and CreativeBench-Explore -- the benchmark targets combinatorial and exploratory creativity through an automated pipeline utilizing reverse engineering and self-play. By leveraging executable code, CreativeBench objectively distinguishes creativity from hallucination via a unified metric defined as the product of quality and novelty. Our analysis of state-of-the-art models reveals distinct behaviors: (1) scaling significantly improves combinatorial creativity but yields diminishing returns for exploration; (2) larger models exhibit ``convergence-by-scaling,'' becoming more correct but less divergent; and (3) reasoning capabilities primarily benefit constrained exploration rather than combination. Finally, we propose EvoRePE, a plug-and-play inference-time steering strategy that internalizes evolutionary search patterns to consistently enhance machine creativity.