Skalierung der Bild- und Videogenerierung durch evolutionäre Suche zur Testzeit

Scaling Image and Video Generation via Test-Time Evolutionary Search

May 23, 2025

Autoren: Haoran He, Jiajun Liang, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Ling Pan

cs.AI

Zusammenfassung

Da die Grenzkosten für die Skalierung von Rechenleistung (Daten und Parameter) während des Modell-Pre-Trainings weiterhin erheblich steigen, hat sich das Test-Time Scaling (TTS) als vielversprechende Richtung zur Verbesserung der Leistung generativer Modelle herauskristallisiert, indem zusätzliche Rechenleistung zur Inferenzzeit zugewiesen wird. Während TTS bei zahlreichen Sprachaufgaben bedeutende Erfolge gezeigt hat, besteht nach wie vor eine bemerkenswerte Lücke im Verständnis der Test-Time-Scaling-Verhalten von Bild- und Video-generativen Modellen (diffusionsbasierte oder flussbasierte Modelle). Obwohl neuere Arbeiten die Erforschung von Inferenzzeit-Strategien für Vision-Aufgaben eingeleitet haben, weisen diese Ansätze kritische Einschränkungen auf: Sie sind auf aufgabenspezifische Domänen beschränkt, zeigen eine schlechte Skalierbarkeit oder verfallen in eine Überoptimierung der Belohnung, die die Probenvielfalt opfert. In diesem Artikel schlagen wir Evolutionary Search (EvoSearch) vor, eine neuartige, generalistische und effiziente TTS-Methode, die die Skalierbarkeit sowohl der Bild- als auch der Videogenerierung über Diffusions- und Flussmodelle effektiv verbessert, ohne zusätzliches Training oder Modellerweiterungen zu erfordern. EvoSearch formuliert das Test-Time Scaling für Diffusions- und Flussmodelle als ein evolutionäres Suchproblem und nutzt Prinzipien der biologischen Evolution, um den Denoising-Pfad effizient zu erkunden und zu verfeinern. Durch die Einbindung sorgfältig gestalteter Selektions- und Mutationsmechanismen, die auf den stochastischen Differentialgleichungs-Denoising-Prozess zugeschnitten sind, generiert EvoSearch iterativ höherwertige Nachkommen, während die Populationsvielfalt erhalten bleibt. Durch umfangreiche Bewertungen über sowohl Diffusions- als auch Flussarchitekturen für Bild- und Videogenerierungsaufgaben zeigen wir, dass unsere Methode bestehende Ansätze konsequent übertrifft, eine höhere Diversität erreicht und eine starke Generalisierbarkeit gegenüber unbekannten Bewertungsmetriken aufweist. Unser Projekt ist auf der Website https://tinnerhrhe.github.io/evosearch verfügbar.

English

As the marginal cost of scaling computation (data and parameters) during model pre-training continues to increase substantially, test-time scaling (TTS) has emerged as a promising direction for improving generative model performance by allocating additional computation at inference time. While TTS has demonstrated significant success across multiple language tasks, there remains a notable gap in understanding the test-time scaling behaviors of image and video generative models (diffusion-based or flow-based models). Although recent works have initiated exploration into inference-time strategies for vision tasks, these approaches face critical limitations: being constrained to task-specific domains, exhibiting poor scalability, or falling into reward over-optimization that sacrifices sample diversity. In this paper, we propose Evolutionary Search (EvoSearch), a novel, generalist, and efficient TTS method that effectively enhances the scalability of both image and video generation across diffusion and flow models, without requiring additional training or model expansion. EvoSearch reformulates test-time scaling for diffusion and flow models as an evolutionary search problem, leveraging principles from biological evolution to efficiently explore and refine the denoising trajectory. By incorporating carefully designed selection and mutation mechanisms tailored to the stochastic differential equation denoising process, EvoSearch iteratively generates higher-quality offspring while preserving population diversity. Through extensive evaluation across both diffusion and flow architectures for image and video generation tasks, we demonstrate that our method consistently outperforms existing approaches, achieves higher diversity, and shows strong generalizability to unseen evaluation metrics. Our project is available at the website https://tinnerhrhe.github.io/evosearch.