CreativeBench: Bewertung und Verbesserung maschineller Kreativität durch sich selbst entwickelnde Herausforderungen
CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges
March 12, 2026
Autoren: Zi-Han Wang, Lam Nguyen, Zhengyang Zhao, Mengyue Yang, Chengwei Qin, Yujiu Yang, Linyi Yang
cs.AI
Zusammenfassung
Die Sättigung hochwertiger Vortrainingsdaten hat den Forschungsfokus auf evolutionäre Systeme verlagert, die kontinuierlich neuartige Artefakte generieren können, was zum Erfolg von AlphaEvolve führte. Der Fortschritt solcher Systeme wird jedoch durch das Fehlen rigoroser, quantitativer Evaluierung behindert. Um diese Herausforderung zu bewältigen, stellen wir CreativeBench vor, einen Benchmark zur Bewertung maschineller Kreativität in der Code-Generierung, der auf einem klassischen kognitiven Rahmenwerk basiert. Der Benchmark besteht aus zwei Teilmengen – CreativeBench-Combo und CreativeBench-Explore – und zielt durch eine automatisierte Pipeline, die Reverse Engineering und Self-Play nutzt, auf kombinatorische und explorative Kreativität ab. Durch die Nutzung von ausführbarem Code unterscheidet CreativeBench objektiv zwischen Kreativität und Halluzination mittels einer einheitlichen Metrik, die als Produkt aus Qualität und Neuheit definiert ist. Unsere Analyse modernster Modelle zeigt unterschiedliche Verhaltensmuster: (1) Skalierung verbessert kombinatorische Kreativität erheblich, führt jedoch bei der Exploration zu abnehmenden Grenzerträgen; (2) größere Modelle zeigen „Konvergenz-durch-Skalierung“, werden also korrekter, aber weniger divergent; und (3) Reasoning-Fähigkeiten nutzen primär eingeschränkter Exploration rather als Kombination. Abschließend schlagen wir EvoRePE vor, eine Plug-and-Play-Inferenzsteuerungsstrategie, die evolutionäre Suchmuster internalisiert, um maschinelle Kreativität konsistent zu steigern.
English
The saturation of high-quality pre-training data has shifted research focus toward evolutionary systems capable of continuously generating novel artifacts, leading to the success of AlphaEvolve. However, the progress of such systems is hindered by the lack of rigorous, quantitative evaluation. To tackle this challenge, we introduce CreativeBench, a benchmark for evaluating machine creativity in code generation, grounded in a classical cognitive framework. Comprising two subsets -- CreativeBench-Combo and CreativeBench-Explore -- the benchmark targets combinatorial and exploratory creativity through an automated pipeline utilizing reverse engineering and self-play. By leveraging executable code, CreativeBench objectively distinguishes creativity from hallucination via a unified metric defined as the product of quality and novelty. Our analysis of state-of-the-art models reveals distinct behaviors: (1) scaling significantly improves combinatorial creativity but yields diminishing returns for exploration; (2) larger models exhibit ``convergence-by-scaling,'' becoming more correct but less divergent; and (3) reasoning capabilities primarily benefit constrained exploration rather than combination. Finally, we propose EvoRePE, a plug-and-play inference-time steering strategy that internalizes evolutionary search patterns to consistently enhance machine creativity.