El modelo ya conoce el mejor ruido: selección bayesiana activa de ruido mediante atención en modelos de difusión de video.

Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model

May 23, 2025

Autores: Kwanyoung Kim, Sanghyun Kim

cs.AI

Resumen

La elección del ruido inicial afecta significativamente la calidad y la alineación con el indicador en los modelos de difusión de video, donde diferentes semillas de ruido para el mismo indicador pueden generar resultados drásticamente distintos. Si bien los métodos recientes dependen de prioridades diseñadas externamente, como filtros de frecuencia o suavizado entre fotogramas, a menudo pasan por alto las señales internas del modelo que indican qué semillas de ruido son inherentemente preferibles. Para abordar esto, proponemos ANSE (Selección Activa de Ruido para Generación), un marco consciente del modelo que selecciona semillas de ruido de alta calidad cuantificando la incertidumbre basada en atención. En su núcleo está BANSA (Selección Activa de Ruido Bayesiana mediante Atención), una función de adquisición que mide la discrepancia de entropía en múltiples muestras estocásticas de atención para estimar la confianza y consistencia del modelo. Para un despliegue eficiente en tiempo de inferencia, introducimos una aproximación enmascarada de Bernoulli de BANSA que permite la estimación de puntuaciones utilizando un solo paso de difusión y un subconjunto de capas de atención. Los experimentos en CogVideoX-2B y 5B demuestran que ANSE mejora la calidad del video y la coherencia temporal con solo un aumento del 8% y 13% en el tiempo de inferencia, respectivamente, ofreciendo un enfoque fundamentado y generalizable para la selección de ruido en la difusión de video. Consulte nuestra página del proyecto: https://anse-project.github.io/anse-project/

English

The choice of initial noise significantly affects the quality and prompt alignment of video diffusion models, where different noise seeds for the same prompt can lead to drastically different generations. While recent methods rely on externally designed priors such as frequency filters or inter-frame smoothing, they often overlook internal model signals that indicate which noise seeds are inherently preferable. To address this, we propose ANSE (Active Noise Selection for Generation), a model-aware framework that selects high-quality noise seeds by quantifying attention-based uncertainty. At its core is BANSA (Bayesian Active Noise Selection via Attention), an acquisition function that measures entropy disagreement across multiple stochastic attention samples to estimate model confidence and consistency. For efficient inference-time deployment, we introduce a Bernoulli-masked approximation of BANSA that enables score estimation using a single diffusion step and a subset of attention layers. Experiments on CogVideoX-2B and 5B demonstrate that ANSE improves video quality and temporal coherence with only an 8% and 13% increase in inference time, respectively, providing a principled and generalizable approach to noise selection in video diffusion. See our project page: https://anse-project.github.io/anse-project/