Schalen van beeld- en videogeneratie via evolutionaire zoektocht tijdens testen

Scaling Image and Video Generation via Test-Time Evolutionary Search

May 23, 2025

Auteurs: Haoran He, Jiajun Liang, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Ling Pan

cs.AI

Samenvatting

Naarmate de marginale kosten van het schalen van rekenkracht (data en parameters) tijdens het vooraf trainen van modellen aanzienlijk blijven toenemen, is testtijd-schaling (TTS) naar voren gekomen als een veelbelovende richting om de prestaties van generatieve modellen te verbeteren door extra rekenkracht toe te wijzen tijdens de inferentie. Hoewel TTS aanzienlijk succes heeft laten zien bij meerdere taaltaken, bestaat er nog steeds een opvallende kloof in het begrip van de testtijd-schalingseigenschappen van generatieve modellen voor afbeeldingen en video's (diffusie- of stroomgebaseerde modellen). Hoewel recente werken een verkenning hebben ingezet naar inferentie-strategieën voor visuele taken, kampen deze benaderingen met kritieke beperkingen: ze zijn beperkt tot domeinspecifieke taken, vertonen slechte schaalbaarheid, of vervallen in overoptimalisatie van beloningen die ten koste gaat van de diversiteit van samples. In dit artikel stellen we Evolutionaire Zoektocht (EvoSearch) voor, een nieuwe, generalistische en efficiënte TTS-methode die de schaalbaarheid van zowel afbeeldingen- als videogeneratie over diffusie- en stroommodellen effectief verbetert, zonder extra training of modeluitbreiding te vereisen. EvoSearch herformuleert testtijd-schaling voor diffusie- en stroommodellen als een evolutionair zoekprobleem, waarbij principes uit de biologische evolutie worden benut om efficiënt de denoising-trajectorie te verkennen en te verfijnen. Door zorgvuldig ontworpen selectie- en mutatiemechanismen te incorporeren die zijn afgestemd op het stochastische differentiaalvergelijking-denoisingsproces, genereert EvoSearch iteratief hogere kwaliteit nakomelingen terwijl de populatiediversiteit behouden blijft. Door uitgebreide evaluatie over zowel diffusie- als stroomarchitecturen voor afbeeldingen- en videogeneratietaken, tonen we aan dat onze methode consistent beter presteert dan bestaande benaderingen, hogere diversiteit bereikt, en sterke generaliseerbaarheid vertoont naar onbekende evaluatiemetrics. Ons project is beschikbaar op de website https://tinnerhrhe.github.io/evosearch.

English

As the marginal cost of scaling computation (data and parameters) during model pre-training continues to increase substantially, test-time scaling (TTS) has emerged as a promising direction for improving generative model performance by allocating additional computation at inference time. While TTS has demonstrated significant success across multiple language tasks, there remains a notable gap in understanding the test-time scaling behaviors of image and video generative models (diffusion-based or flow-based models). Although recent works have initiated exploration into inference-time strategies for vision tasks, these approaches face critical limitations: being constrained to task-specific domains, exhibiting poor scalability, or falling into reward over-optimization that sacrifices sample diversity. In this paper, we propose Evolutionary Search (EvoSearch), a novel, generalist, and efficient TTS method that effectively enhances the scalability of both image and video generation across diffusion and flow models, without requiring additional training or model expansion. EvoSearch reformulates test-time scaling for diffusion and flow models as an evolutionary search problem, leveraging principles from biological evolution to efficiently explore and refine the denoising trajectory. By incorporating carefully designed selection and mutation mechanisms tailored to the stochastic differential equation denoising process, EvoSearch iteratively generates higher-quality offspring while preserving population diversity. Through extensive evaluation across both diffusion and flow architectures for image and video generation tasks, we demonstrate that our method consistently outperforms existing approaches, achieves higher diversity, and shows strong generalizability to unseen evaluation metrics. Our project is available at the website https://tinnerhrhe.github.io/evosearch.