Il Modello Conosce Già il Rumore Ottimale: Selezione Attiva Bayesiana del Rumore tramite Attenzione nei Modelli di Diffusione Video
Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model
May 23, 2025
Autori: Kwanyoung Kim, Sanghyun Kim
cs.AI
Abstract
La scelta del rumore iniziale influisce significativamente sulla qualità e sull'allineamento ai prompt nei modelli di diffusione video, dove diversi semi di rumore per lo stesso prompt possono portare a generazioni drasticamente diverse. Mentre i metodi recenti si basano su prior progettati esternamente come filtri di frequenza o smoothing inter-fotogramma, spesso trascurano i segnali interni del modello che indicano quali semi di rumore sono intrinsecamente preferibili. Per affrontare questo problema, proponiamo ANSE (Active Noise Selection for Generation), un framework consapevole del modello che seleziona semi di rumore di alta qualità quantificando l'incertezza basata sull'attenzione. Al suo centro c'è BANSA (Bayesian Active Noise Selection via Attention), una funzione di acquisizione che misura il disaccordo di entropia tra più campioni stocastici di attenzione per stimare la confidenza e la coerenza del modello. Per un'implementazione efficiente al momento dell'inferenza, introduciamo un'approssimazione mascherata di Bernoulli di BANSA che consente la stima del punteggio utilizzando un singolo passo di diffusione e un sottoinsieme di livelli di attenzione. Gli esperimenti su CogVideoX-2B e 5B dimostrano che ANSE migliora la qualità video e la coerenza temporale con solo un aumento dell'8% e del 13% rispettivamente nel tempo di inferenza, fornendo un approccio principiato e generalizzabile alla selezione del rumore nella diffusione video. Visita la nostra pagina del progetto: https://anse-project.github.io/anse-project/
English
The choice of initial noise significantly affects the quality and prompt
alignment of video diffusion models, where different noise seeds for the same
prompt can lead to drastically different generations. While recent methods rely
on externally designed priors such as frequency filters or inter-frame
smoothing, they often overlook internal model signals that indicate which noise
seeds are inherently preferable. To address this, we propose ANSE (Active Noise
Selection for Generation), a model-aware framework that selects high-quality
noise seeds by quantifying attention-based uncertainty. At its core is BANSA
(Bayesian Active Noise Selection via Attention), an acquisition function that
measures entropy disagreement across multiple stochastic attention samples to
estimate model confidence and consistency. For efficient inference-time
deployment, we introduce a Bernoulli-masked approximation of BANSA that enables
score estimation using a single diffusion step and a subset of attention
layers. Experiments on CogVideoX-2B and 5B demonstrate that ANSE improves video
quality and temporal coherence with only an 8% and 13% increase in inference
time, respectively, providing a principled and generalizable approach to noise
selection in video diffusion. See our project page:
https://anse-project.github.io/anse-project/