Mise à l'échelle de la génération d'images et de vidéos via une recherche évolutive en phase de test

Scaling Image and Video Generation via Test-Time Evolutionary Search

May 23, 2025

Auteurs: Haoran He, Jiajun Liang, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Ling Pan

cs.AI

Résumé

Alors que le coût marginal de mise à l'échelle des calculs (données et paramètres) pendant l'entraînement préalable des modèles continue d'augmenter de manière significative, la mise à l'échelle au moment du test (TTS) est apparue comme une direction prometteuse pour améliorer les performances des modèles génératifs en allouant des ressources de calcul supplémentaires au moment de l'inférence. Bien que la TTS ait démontré un succès notable dans de multiples tâches linguistiques, il subsiste un écart important dans la compréhension des comportements de mise à l'échelle au moment du test pour les modèles génératifs d'images et de vidéos (modèles basés sur la diffusion ou sur les flux). Bien que des travaux récents aient initié l'exploration de stratégies d'inférence pour les tâches visuelles, ces approches présentent des limitations critiques : elles sont restreintes à des domaines spécifiques, montrent une faible scalabilité, ou tombent dans une sur-optimisation de la récompense au détriment de la diversité des échantillons. Dans cet article, nous proposons Evolutionary Search (EvoSearch), une méthode TTS novatrice, généraliste et efficace qui améliore de manière significative la scalabilité de la génération d'images et de vidéos pour les modèles de diffusion et de flux, sans nécessiter d'entraînement supplémentaire ni d'extension du modèle. EvoSearch reformule la mise à l'échelle au moment du test pour les modèles de diffusion et de flux comme un problème de recherche évolutionnaire, exploitant les principes de l'évolution biologique pour explorer et affiner efficacement la trajectoire de débruitage. En intégrant des mécanismes de sélection et de mutation soigneusement conçus et adaptés au processus de débruitage par équations différentielles stochastiques, EvoSearch génère itérativement des descendants de meilleure qualité tout en préservant la diversité de la population. À travers une évaluation approfondie sur des architectures de diffusion et de flux pour des tâches de génération d'images et de vidéos, nous démontrons que notre méthode surpasse systématiquement les approches existantes, atteint une plus grande diversité, et montre une forte généralisabilité à des métriques d'évaluation inédites. Notre projet est disponible sur le site https://tinnerhrhe.github.io/evosearch.

English

As the marginal cost of scaling computation (data and parameters) during model pre-training continues to increase substantially, test-time scaling (TTS) has emerged as a promising direction for improving generative model performance by allocating additional computation at inference time. While TTS has demonstrated significant success across multiple language tasks, there remains a notable gap in understanding the test-time scaling behaviors of image and video generative models (diffusion-based or flow-based models). Although recent works have initiated exploration into inference-time strategies for vision tasks, these approaches face critical limitations: being constrained to task-specific domains, exhibiting poor scalability, or falling into reward over-optimization that sacrifices sample diversity. In this paper, we propose Evolutionary Search (EvoSearch), a novel, generalist, and efficient TTS method that effectively enhances the scalability of both image and video generation across diffusion and flow models, without requiring additional training or model expansion. EvoSearch reformulates test-time scaling for diffusion and flow models as an evolutionary search problem, leveraging principles from biological evolution to efficiently explore and refine the denoising trajectory. By incorporating carefully designed selection and mutation mechanisms tailored to the stochastic differential equation denoising process, EvoSearch iteratively generates higher-quality offspring while preserving population diversity. Through extensive evaluation across both diffusion and flow architectures for image and video generation tasks, we demonstrate that our method consistently outperforms existing approaches, achieves higher diversity, and shows strong generalizability to unseen evaluation metrics. Our project is available at the website https://tinnerhrhe.github.io/evosearch.