CreativeBench: Evaluación y Mejora de la Creatividad de las Máquinas mediante Desafíos de Autoevolución
CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges
March 12, 2026
Autores: Zi-Han Wang, Lam Nguyen, Zhengyang Zhao, Mengyue Yang, Chengwei Qin, Yujiu Yang, Linyi Yang
cs.AI
Resumen
La saturación de datos de preentrenamiento de alta calidad ha desplazado el enfoque investigativo hacia sistemas evolutivos capaces de generar artefactos novedosos de forma continua, lo que ha conducido al éxito de AlphaEvolve. Sin embargo, el progreso de dichos sistemas se ve obstaculizado por la falta de una evaluación rigurosa y cuantitativa. Para abordar este desafío, presentamos CreativeBench, un benchmark para evaluar la creatividad de las máquinas en la generación de código, fundamentado en un marco cognitivo clásico. Compuesto por dos subconjuntos —CreativeBench-Combo y CreativeBench-Explore—, el benchmark se centra en la creatividad combinatoria y exploratoria mediante una canalización automatizada que utiliza ingeniería inversa y autojuego. Al aprovechar código ejecutable, CreativeBench distingue objetivamente la creatividad de la alucinación mediante una métrica unificada definida como el producto de la calidad y la novedad. Nuestro análisis de los modelos más avanzados revela comportamientos distintos: (1) el escalado mejora significativamente la creatividad combinatoria pero produce rendimientos decrecientes en la exploración; (2) los modelos más grandes exhiben una "convergencia por escalado", volviéndose más correctos pero menos divergentes; y (3) las capacidades de razonamiento benefician principalmente la exploración restringida más que la combinación. Finalmente, proponemos EvoRePE, una estrategia de direccionamiento en tiempo de inferencia plug-and-play que internaliza patrones de búsqueda evolutiva para mejorar consistentemente la creatividad de las máquinas.
English
The saturation of high-quality pre-training data has shifted research focus toward evolutionary systems capable of continuously generating novel artifacts, leading to the success of AlphaEvolve. However, the progress of such systems is hindered by the lack of rigorous, quantitative evaluation. To tackle this challenge, we introduce CreativeBench, a benchmark for evaluating machine creativity in code generation, grounded in a classical cognitive framework. Comprising two subsets -- CreativeBench-Combo and CreativeBench-Explore -- the benchmark targets combinatorial and exploratory creativity through an automated pipeline utilizing reverse engineering and self-play. By leveraging executable code, CreativeBench objectively distinguishes creativity from hallucination via a unified metric defined as the product of quality and novelty. Our analysis of state-of-the-art models reveals distinct behaviors: (1) scaling significantly improves combinatorial creativity but yields diminishing returns for exploration; (2) larger models exhibit ``convergence-by-scaling,'' becoming more correct but less divergent; and (3) reasoning capabilities primarily benefit constrained exploration rather than combination. Finally, we propose EvoRePE, a plug-and-play inference-time steering strategy that internalizes evolutionary search patterns to consistently enhance machine creativity.