Escalonamento de Geração de Imagens e Vídeos por meio de Busca Evolutiva em Tempo de Teste

Scaling Image and Video Generation via Test-Time Evolutionary Search

May 23, 2025

Autores: Haoran He, Jiajun Liang, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Ling Pan

cs.AI

Resumo

À medida que o custo marginal de escalonamento de computação (dados e parâmetros) durante o pré-treinamento de modelos continua a aumentar substancialmente, o escalonamento em tempo de teste (TTS) surgiu como uma direção promissora para melhorar o desempenho de modelos generativos, alocando computação adicional no momento da inferência. Embora o TTS tenha demonstrado sucesso significativo em várias tarefas de linguagem, ainda há uma lacuna notável na compreensão dos comportamentos de escalonamento em tempo de teste de modelos generativos de imagem e vídeo (baseados em difusão ou fluxo). Embora trabalhos recentes tenham iniciado a exploração de estratégias de inferência para tarefas visuais, essas abordagens enfrentam limitações críticas: estão restritas a domínios específicos de tarefas, exibem baixa escalabilidade ou caem em uma sobre-otimização de recompensa que sacrifica a diversidade de amostras. Neste artigo, propomos o Evolutionary Search (EvoSearch), um método TTS novo, generalista e eficiente que melhora efetivamente a escalabilidade tanto da geração de imagens quanto de vídeos em modelos de difusão e fluxo, sem exigir treinamento adicional ou expansão do modelo. O EvoSearch reformula o escalonamento em tempo de teste para modelos de difusão e fluxo como um problema de busca evolutiva, aproveitando princípios da evolução biológica para explorar e refinar eficientemente a trajetória de remoção de ruído. Ao incorporar mecanismos de seleção e mutação cuidadosamente projetados e adaptados ao processo de remoção de ruído de equações diferenciais estocásticas, o EvoSearch gera iterativamente descendentes de maior qualidade enquanto preserva a diversidade da população. Por meio de uma avaliação extensa em arquiteturas de difusão e fluxo para tarefas de geração de imagens e vídeos, demonstramos que nosso método supera consistentemente as abordagens existentes, alcança maior diversidade e mostra forte generalização para métricas de avaliação não vistas. Nosso projeto está disponível no site https://tinnerhrhe.github.io/evosearch.

English

As the marginal cost of scaling computation (data and parameters) during model pre-training continues to increase substantially, test-time scaling (TTS) has emerged as a promising direction for improving generative model performance by allocating additional computation at inference time. While TTS has demonstrated significant success across multiple language tasks, there remains a notable gap in understanding the test-time scaling behaviors of image and video generative models (diffusion-based or flow-based models). Although recent works have initiated exploration into inference-time strategies for vision tasks, these approaches face critical limitations: being constrained to task-specific domains, exhibiting poor scalability, or falling into reward over-optimization that sacrifices sample diversity. In this paper, we propose Evolutionary Search (EvoSearch), a novel, generalist, and efficient TTS method that effectively enhances the scalability of both image and video generation across diffusion and flow models, without requiring additional training or model expansion. EvoSearch reformulates test-time scaling for diffusion and flow models as an evolutionary search problem, leveraging principles from biological evolution to efficiently explore and refine the denoising trajectory. By incorporating carefully designed selection and mutation mechanisms tailored to the stochastic differential equation denoising process, EvoSearch iteratively generates higher-quality offspring while preserving population diversity. Through extensive evaluation across both diffusion and flow architectures for image and video generation tasks, we demonstrate that our method consistently outperforms existing approaches, achieves higher diversity, and shows strong generalizability to unseen evaluation metrics. Our project is available at the website https://tinnerhrhe.github.io/evosearch.