Масштабирование генерации изображений и видео с помощью эволюционного поиска на этапе тестирования

Scaling Image and Video Generation via Test-Time Evolutionary Search

May 23, 2025

Авторы: Haoran He, Jiajun Liang, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Ling Pan

cs.AI

Аннотация

Поскольку предельные затраты на масштабирование вычислений (данных и параметров) в процессе предварительного обучения моделей продолжают существенно возрастать, масштабирование на этапе тестирования (TTS) стало перспективным направлением для повышения производительности генеративных моделей за счет выделения дополнительных вычислительных ресурсов на этапе вывода. Хотя TTS продемонстрировал значительные успехи в решении множества языковых задач, остается заметный пробел в понимании поведения масштабирования на этапе тестирования для генеративных моделей изображений и видео (диффузионных или потоковых моделей). Несмотря на то, что недавние работы начали исследование стратегий вывода для задач компьютерного зрения, эти подходы сталкиваются с критическими ограничениями: они ограничены узкими предметными областями, демонстрируют плохую масштабируемость или попадают в ловушку чрезмерной оптимизации вознаграждения, что приводит к снижению разнообразия образцов. В данной статье мы предлагаем Evolutionary Search (EvoSearch) — новый, универсальный и эффективный метод TTS, который значительно улучшает масштабируемость генерации изображений и видео для диффузионных и потоковых моделей, не требуя дополнительного обучения или расширения модели. EvoSearch переосмысливает масштабирование на этапе тестирования для диффузионных и потоковых моделей как задачу эволюционного поиска, используя принципы биологической эволюции для эффективного исследования и уточнения траектории удаления шума. Включая тщательно разработанные механизмы отбора и мутации, адаптированные к процессу удаления шума на основе стохастических дифференциальных уравнений, EvoSearch итеративно генерирует более качественные потомки, сохраняя разнообразие популяции. В ходе обширной оценки для задач генерации изображений и видео на основе как диффузионных, так и потоковых архитектур мы демонстрируем, что наш метод стабильно превосходит существующие подходы, достигает большего разнообразия и демонстрирует высокую обобщаемость для новых метрик оценки. Наш проект доступен на сайте https://tinnerhrhe.github.io/evosearch.

English

As the marginal cost of scaling computation (data and parameters) during model pre-training continues to increase substantially, test-time scaling (TTS) has emerged as a promising direction for improving generative model performance by allocating additional computation at inference time. While TTS has demonstrated significant success across multiple language tasks, there remains a notable gap in understanding the test-time scaling behaviors of image and video generative models (diffusion-based or flow-based models). Although recent works have initiated exploration into inference-time strategies for vision tasks, these approaches face critical limitations: being constrained to task-specific domains, exhibiting poor scalability, or falling into reward over-optimization that sacrifices sample diversity. In this paper, we propose Evolutionary Search (EvoSearch), a novel, generalist, and efficient TTS method that effectively enhances the scalability of both image and video generation across diffusion and flow models, without requiring additional training or model expansion. EvoSearch reformulates test-time scaling for diffusion and flow models as an evolutionary search problem, leveraging principles from biological evolution to efficiently explore and refine the denoising trajectory. By incorporating carefully designed selection and mutation mechanisms tailored to the stochastic differential equation denoising process, EvoSearch iteratively generates higher-quality offspring while preserving population diversity. Through extensive evaluation across both diffusion and flow architectures for image and video generation tasks, we demonstrate that our method consistently outperforms existing approaches, achieves higher diversity, and shows strong generalizability to unseen evaluation metrics. Our project is available at the website https://tinnerhrhe.github.io/evosearch.