CreativeBench: Het meten en verbeteren van machinecreativiteit via zelf-evoluerende uitdagingen
CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges
March 12, 2026
Auteurs: Zi-Han Wang, Lam Nguyen, Zhengyang Zhao, Mengyue Yang, Chengwei Qin, Yujiu Yang, Linyi Yang
cs.AI
Samenvatting
De verzadiging van hoogwaardige vooraf getrainde gegevens heeft de onderzoeksfocus verlegd naar evolutionaire systemen die continu nieuwe artefacten kunnen genereren, wat heeft geleid tot het succes van AlphaEvolve. De vooruitgang van dergelijke systemen wordt echter belemmerd door het ontbreken van rigoureuze, kwantitatieve evaluatie. Om deze uitdaging aan te pakken, introduceren we CreativeBench, een benchmark voor het evalueren van machinecreativiteit bij codegeneratie, gebaseerd op een klassiek cognitief kader. De benchmark, bestaande uit twee subsets – CreativeBench-Combo en CreativeBench-Explore – richt zich op combinatorische en explorerende creativiteit via een geautomatiseerde pijplijn die gebruikmaakt van reverse engineering en zelfspel. Door uitvoerbare code te benutten, onderscheidt CreativeBench objectief creativiteit van hallucinatie via een uniforme metriek gedefinieerd als het product van kwaliteit en nieuwheid. Onze analyse van state-of-the-art modellen onthult duidelijke gedragspatronen: (1) schaalvergroting verbetert combinatorische creativiteit aanzienlijk maar vertoont afnemende meeropbrengsten voor exploratie; (2) grotere modellen vertonen "convergentie-door-schaling", waarbij ze correcter maar minder divergent worden; en (3) redeneervaardigheden komen voornamelijk ten goede aan beperkte exploratie in plaats van aan combinatie. Ten slotte stellen we EvoRePE voor, een plug-and-play stuurstrategie tijdens inferentie die evolutionaire zoekpatronen internaliseert om machinecreativiteit consistent te verbeteren.
English
The saturation of high-quality pre-training data has shifted research focus toward evolutionary systems capable of continuously generating novel artifacts, leading to the success of AlphaEvolve. However, the progress of such systems is hindered by the lack of rigorous, quantitative evaluation. To tackle this challenge, we introduce CreativeBench, a benchmark for evaluating machine creativity in code generation, grounded in a classical cognitive framework. Comprising two subsets -- CreativeBench-Combo and CreativeBench-Explore -- the benchmark targets combinatorial and exploratory creativity through an automated pipeline utilizing reverse engineering and self-play. By leveraging executable code, CreativeBench objectively distinguishes creativity from hallucination via a unified metric defined as the product of quality and novelty. Our analysis of state-of-the-art models reveals distinct behaviors: (1) scaling significantly improves combinatorial creativity but yields diminishing returns for exploration; (2) larger models exhibit ``convergence-by-scaling,'' becoming more correct but less divergent; and (3) reasoning capabilities primarily benefit constrained exploration rather than combination. Finally, we propose EvoRePE, a plug-and-play inference-time steering strategy that internalizes evolutionary search patterns to consistently enhance machine creativity.