CreativeBench: Avaliação e Aprimoramento da Criatividade de Máquinas por meio de Desafios de Auto-evolução

CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges

March 12, 2026

Autores: Zi-Han Wang, Lam Nguyen, Zhengyang Zhao, Mengyue Yang, Chengwei Qin, Yujiu Yang, Linyi Yang

cs.AI

Resumo

A saturação de dados de pré-treinamento de alta qualidade deslocou o foco da pesquisa para sistemas evolutivos capazes de gerar continuamente artefactos novos, levando ao sucesso do AlphaEvolve. No entanto, o progresso destes sistemas é limitado pela falta de uma avaliação rigorosa e quantitativa. Para enfrentar este desafio, introduzimos o CreativeBench, um *benchmark* para avaliar a criatividade das máquinas na geração de código, baseado num quadro cognitivo clássico. Composto por dois subconjuntos – CreativeBench-Combo e CreativeBench-Explore – o *benchmark* tem como alvo a criatividade combinatória e exploratória através de um *pipeline* automatizado que utiliza engenharia reversa e *self-play*. Ao alavancar código executável, o CreativeBench distingue objetivamente a criatividade da alucinação através de uma métrica unificada, definida como o produto da qualidade e da novidade. A nossa análise dos modelos mais avançados revela comportamentos distintos: (1) a escalabilidade melhora significativamente a criatividade combinatória, mas produz retornos decrescentes na exploração; (2) modelos maiores exibem "convergência por escalabilidade", tornando-se mais corretos, mas menos divergentes; e (3) as capacidades de raciocínio beneficiam principalmente a exploração restrita, e não a combinação. Por fim, propomos o EvoRePE, uma estratégia de orientação *plug-and-play* durante a inferência que internaliza padrões de busca evolutiva para melhorar consistentemente a criatividade das máquinas.

English

The saturation of high-quality pre-training data has shifted research focus toward evolutionary systems capable of continuously generating novel artifacts, leading to the success of AlphaEvolve. However, the progress of such systems is hindered by the lack of rigorous, quantitative evaluation. To tackle this challenge, we introduce CreativeBench, a benchmark for evaluating machine creativity in code generation, grounded in a classical cognitive framework. Comprising two subsets -- CreativeBench-Combo and CreativeBench-Explore -- the benchmark targets combinatorial and exploratory creativity through an automated pipeline utilizing reverse engineering and self-play. By leveraging executable code, CreativeBench objectively distinguishes creativity from hallucination via a unified metric defined as the product of quality and novelty. Our analysis of state-of-the-art models reveals distinct behaviors: (1) scaling significantly improves combinatorial creativity but yields diminishing returns for exploration; (2) larger models exhibit ``convergence-by-scaling,'' becoming more correct but less divergent; and (3) reasoning capabilities primarily benefit constrained exploration rather than combination. Finally, we propose EvoRePE, a plug-and-play inference-time steering strategy that internalizes evolutionary search patterns to consistently enhance machine creativity.