Das Modell kennt bereits das beste Rauschen: Bayes'sche aktive Rauschenauswahl durch Aufmerksamkeit im Video-Diffusionsmodell

Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model

May 23, 2025

Autoren: Kwanyoung Kim, Sanghyun Kim

cs.AI

Zusammenfassung

Die Wahl des initialen Rauschens beeinflusst maßgeblich die Qualität und die Prompt-Ausrichtung von Video-Diffusionsmodellen, wobei unterschiedliche Rausch-Seeds für denselben Prompt zu drastisch unterschiedlichen Generierungen führen können. Während aktuelle Methoden auf extern entworfene Prioritäten wie Frequenzfilter oder Inter-Frame-Glättung setzen, übersehen sie oft interne Modellsignale, die anzeigen, welche Rausch-Seeds inhärent bevorzugt sind. Um dies zu adressieren, schlagen wir ANSE (Active Noise Selection for Generation) vor, ein modellbewusstes Framework, das hochwertige Rausch-Seeds durch die Quantifizierung von aufmerksamkeitsbasierter Unsicherheit auswählt. Im Kern steht BANSA (Bayesian Active Noise Selection via Attention), eine Akquisitionsfunktion, die die Entropie-Diskrepanz über mehrere stochastische Aufmerksamkeitsproben hinweg misst, um die Modellkonfidenz und -konsistenz zu schätzen. Für einen effizienten Einsatz während der Inferenz führen wir eine Bernoulli-maskierte Approximation von BANSA ein, die die Schätzung der Scores mit einem einzigen Diffusionsschritt und einer Teilmenge von Aufmerksamkeitsschichten ermöglicht. Experimente mit CogVideoX-2B und 5B zeigen, dass ANSE die Videoqualität und zeitliche Kohärenz verbessert, wobei die Inferenzzeit lediglich um 8 % bzw. 13 % ansteigt. Dies bietet einen prinzipiellen und verallgemeinerbaren Ansatz zur Rauschauswahl in der Video-Diffusion. Siehe unsere Projektseite: https://anse-project.github.io/anse-project/

English

The choice of initial noise significantly affects the quality and prompt alignment of video diffusion models, where different noise seeds for the same prompt can lead to drastically different generations. While recent methods rely on externally designed priors such as frequency filters or inter-frame smoothing, they often overlook internal model signals that indicate which noise seeds are inherently preferable. To address this, we propose ANSE (Active Noise Selection for Generation), a model-aware framework that selects high-quality noise seeds by quantifying attention-based uncertainty. At its core is BANSA (Bayesian Active Noise Selection via Attention), an acquisition function that measures entropy disagreement across multiple stochastic attention samples to estimate model confidence and consistency. For efficient inference-time deployment, we introduce a Bernoulli-masked approximation of BANSA that enables score estimation using a single diffusion step and a subset of attention layers. Experiments on CogVideoX-2B and 5B demonstrate that ANSE improves video quality and temporal coherence with only an 8% and 13% increase in inference time, respectively, providing a principled and generalizable approach to noise selection in video diffusion. See our project page: https://anse-project.github.io/anse-project/