Model Kent Reeds de Beste Ruis: Bayesiaanse Actieve Ruisselectie via Aandacht in Video-Diffusiemodellen
Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model
May 23, 2025
Auteurs: Kwanyoung Kim, Sanghyun Kim
cs.AI
Samenvatting
De keuze van initiële ruis heeft een aanzienlijke invloed op de kwaliteit en promptafstemming van videodiffusiemodellen, waarbij verschillende ruiszaden voor dezelfde prompt tot sterk verschillende generaties kunnen leiden. Hoewel recente methoden vertrouwen op extern ontworpen prioriteiten zoals frequentiefilters of inter-frame smoothing, wordt vaak over het hoofd gezien dat interne modelsignalen aangeven welke ruiszaden inherent de voorkeur verdienen. Om dit aan te pakken, stellen we ANSE (Active Noise Selection for Generation) voor, een modelbewust raamwerk dat hoogwaardige ruiszaden selecteert door aandacht gebaseerde onzekerheid te kwantificeren. De kern hiervan is BANSA (Bayesian Active Noise Selection via Attention), een acquisitiefunctie die entropieonenigheid over meerdere stochastische aandachtmonsters meet om modelvertrouwen en consistentie te schatten. Voor efficiënte implementatie tijdens inferentie introduceren we een Bernoulli-gemaskerde benadering van BANSA die score-schatting mogelijk maakt met behulp van een enkele diffusiestap en een subset van aandachtlagen. Experimenten op CogVideoX-2B en 5B tonen aan dat ANSE de videokwaliteit en temporele coherentie verbetert met slechts een toename van respectievelijk 8% en 13% in inferentietijd, wat een principiële en generaliseerbare benadering biedt voor ruisselectie in videodiffusie. Zie onze projectpagina: https://anse-project.github.io/anse-project/
English
The choice of initial noise significantly affects the quality and prompt
alignment of video diffusion models, where different noise seeds for the same
prompt can lead to drastically different generations. While recent methods rely
on externally designed priors such as frequency filters or inter-frame
smoothing, they often overlook internal model signals that indicate which noise
seeds are inherently preferable. To address this, we propose ANSE (Active Noise
Selection for Generation), a model-aware framework that selects high-quality
noise seeds by quantifying attention-based uncertainty. At its core is BANSA
(Bayesian Active Noise Selection via Attention), an acquisition function that
measures entropy disagreement across multiple stochastic attention samples to
estimate model confidence and consistency. For efficient inference-time
deployment, we introduce a Bernoulli-masked approximation of BANSA that enables
score estimation using a single diffusion step and a subset of attention
layers. Experiments on CogVideoX-2B and 5B demonstrate that ANSE improves video
quality and temporal coherence with only an 8% and 13% increase in inference
time, respectively, providing a principled and generalizable approach to noise
selection in video diffusion. See our project page:
https://anse-project.github.io/anse-project/