CreativeBench: Valutazione e potenziamento della creatività delle macchine attraverso sfide auto-evolventi

CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges

March 12, 2026

Autori: Zi-Han Wang, Lam Nguyen, Zhengyang Zhao, Mengyue Yang, Chengwei Qin, Yujiu Yang, Linyi Yang

cs.AI

Abstract

La saturazione di dati di pre-addestramento di alta qualità ha spostato l’attenzione della ricerca verso sistemi evolutivi in grado di generare continuamente artefatti innovativi, portando al successo di AlphaEvolve. Tuttavia, il progresso di tali sistemi è ostacolato dalla mancanza di una valutazione quantitativa rigorosa. Per affrontare questa sfida, introduciamo CreativeBench, un benchmark per valutare la creatività delle macchine nella generazione di codice, basato su un quadro cognitivo classico. Composto da due sottoinsiemi — CreativeBench-Combo e CreativeBench-Explore — il benchmark si concentra sulla creatività combinatoria ed esplorativa attraverso una pipeline automatizzata che utilizza reverse engineering e auto-gioco. Sfruttando codice eseguibile, CreativeBench distingue oggettivamente la creatività dall’allucinazione mediante una metrica unificata definita come il prodotto di qualità e novità. La nostra analisi dei modelli più avanzati rivale comportamenti distinti: (1) il ridimensionamento migliora significativamente la creatività combinatoria, ma produce rendimenti decrescenti nell’esplorazione; (2) i modelli più grandi mostrano una “convergenza per ridimensionamento”, diventando più corretti ma meno divergenti; e (3) le capacità di ragionamento giovano principalmente all’esplorazione vincolata piuttosto che alla combinazione. Infine, proponiamo EvoRePE, una strategia di steering plug-and-play in fase di inferenza che interiorizza schemi di ricerca evolutiva per migliorare costantemente la creatività delle macchine.

English

The saturation of high-quality pre-training data has shifted research focus toward evolutionary systems capable of continuously generating novel artifacts, leading to the success of AlphaEvolve. However, the progress of such systems is hindered by the lack of rigorous, quantitative evaluation. To tackle this challenge, we introduce CreativeBench, a benchmark for evaluating machine creativity in code generation, grounded in a classical cognitive framework. Comprising two subsets -- CreativeBench-Combo and CreativeBench-Explore -- the benchmark targets combinatorial and exploratory creativity through an automated pipeline utilizing reverse engineering and self-play. By leveraging executable code, CreativeBench objectively distinguishes creativity from hallucination via a unified metric defined as the product of quality and novelty. Our analysis of state-of-the-art models reveals distinct behaviors: (1) scaling significantly improves combinatorial creativity but yields diminishing returns for exploration; (2) larger models exhibit ``convergence-by-scaling,'' becoming more correct but less divergent; and (3) reasoning capabilities primarily benefit constrained exploration rather than combination. Finally, we propose EvoRePE, a plug-and-play inference-time steering strategy that internalizes evolutionary search patterns to consistently enhance machine creativity.