Scalabilità nella Generazione di Immagini e Video tramite Ricerca Evolutiva in Fase di Test

Scaling Image and Video Generation via Test-Time Evolutionary Search

May 23, 2025

Autori: Haoran He, Jiajun Liang, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Ling Pan

cs.AI

Abstract

Poiché il costo marginale di scalabilità del calcolo (dati e parametri) durante il pre-addestramento dei modelli continua ad aumentare in modo significativo, la scalabilità al momento del test (Test-Time Scaling, TTS) è emersa come una direzione promettente per migliorare le prestazioni dei modelli generativi allocando ulteriori risorse computazionali al momento dell'inferenza. Sebbene il TTS abbia dimostrato un notevole successo in molteplici task linguistici, rimane un divario significativo nella comprensione dei comportamenti di scalabilità al momento del test per i modelli generativi di immagini e video (basati su diffusione o flusso). Nonostante lavori recenti abbiano iniziato a esplorare strategie per l'inferenza nei task visivi, questi approcci presentano limitazioni critiche: sono vincolati a domini specifici, mostrano una scarsa scalabilità o cadono in un'over-ottimizzazione della ricompensa che sacrifica la diversità dei campioni. In questo articolo, proponiamo Evolutionary Search (EvoSearch), un metodo TTS innovativo, generalista ed efficiente che migliora efficacemente la scalabilità sia della generazione di immagini che di video nei modelli di diffusione e flusso, senza richiedere ulteriori addestramenti o espansioni del modello. EvoSearch riformula la scalabilità al momento del test per i modelli di diffusione e flusso come un problema di ricerca evolutiva, sfruttando i principi dell'evoluzione biologica per esplorare e affinare in modo efficiente la traiettoria di denoising. Incorporando meccanismi di selezione e mutazione progettati con cura e adattati al processo di denoising basato su equazioni differenziali stocastiche, EvoSearch genera iterativamente discendenti di qualità superiore preservando la diversità della popolazione. Attraverso una valutazione estesa su architetture di diffusione e flusso per task di generazione di immagini e video, dimostriamo che il nostro metodo supera costantemente gli approcci esistenti, raggiunge una maggiore diversità e mostra una forte generalizzabilità a metriche di valutazione non viste. Il nostro progetto è disponibile al sito https://tinnerhrhe.github.io/evosearch.

English

As the marginal cost of scaling computation (data and parameters) during model pre-training continues to increase substantially, test-time scaling (TTS) has emerged as a promising direction for improving generative model performance by allocating additional computation at inference time. While TTS has demonstrated significant success across multiple language tasks, there remains a notable gap in understanding the test-time scaling behaviors of image and video generative models (diffusion-based or flow-based models). Although recent works have initiated exploration into inference-time strategies for vision tasks, these approaches face critical limitations: being constrained to task-specific domains, exhibiting poor scalability, or falling into reward over-optimization that sacrifices sample diversity. In this paper, we propose Evolutionary Search (EvoSearch), a novel, generalist, and efficient TTS method that effectively enhances the scalability of both image and video generation across diffusion and flow models, without requiring additional training or model expansion. EvoSearch reformulates test-time scaling for diffusion and flow models as an evolutionary search problem, leveraging principles from biological evolution to efficiently explore and refine the denoising trajectory. By incorporating carefully designed selection and mutation mechanisms tailored to the stochastic differential equation denoising process, EvoSearch iteratively generates higher-quality offspring while preserving population diversity. Through extensive evaluation across both diffusion and flow architectures for image and video generation tasks, we demonstrate that our method consistently outperforms existing approaches, achieves higher diversity, and shows strong generalizability to unseen evaluation metrics. Our project is available at the website https://tinnerhrhe.github.io/evosearch.