Модель уже знает лучший шум: байесовский активный выбор шума через внимание в видео-диффузионной модели

Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model

May 23, 2025

Авторы: Kwanyoung Kim, Sanghyun Kim

cs.AI

Аннотация

Выбор начального шума существенно влияет на качество и соответствие запросу в моделях диффузии видео, где различные начальные значения шума для одного и того же запроса могут приводить к кардинально разным результатам генерации. Хотя современные методы полагаются на внешне заданные априорные данные, такие как частотные фильтры или межкадровое сглаживание, они часто упускают из виду внутренние сигналы модели, которые указывают на то, какие начальные значения шума являются изначально предпочтительными. Для решения этой проблемы мы предлагаем ANSE (Active Noise Selection for Generation) — модель-ориентированную структуру, которая выбирает высококачественные начальные значения шума, количественно оценивая неопределенность на основе внимания. В её основе лежит BANSA (Bayesian Active Noise Selection via Attention) — функция приобретения, которая измеряет расхождение энтропии по множеству стохастических выборок внимания для оценки уверенности и согласованности модели. Для эффективного использования на этапе вывода мы вводим аппроксимацию BANSA с маскированием по Бернулли, которая позволяет оценивать результаты с использованием одного шага диффузии и подмножества слоев внимания. Эксперименты на моделях CogVideoX-2B и 5B демонстрируют, что ANSE улучшает качество видео и временную согласованность при увеличении времени вывода всего на 8% и 13% соответственно, предлагая принципиальный и обобщаемый подход к выбору шума в видео-диффузии. См. страницу проекта: https://anse-project.github.io/anse-project/

English

The choice of initial noise significantly affects the quality and prompt alignment of video diffusion models, where different noise seeds for the same prompt can lead to drastically different generations. While recent methods rely on externally designed priors such as frequency filters or inter-frame smoothing, they often overlook internal model signals that indicate which noise seeds are inherently preferable. To address this, we propose ANSE (Active Noise Selection for Generation), a model-aware framework that selects high-quality noise seeds by quantifying attention-based uncertainty. At its core is BANSA (Bayesian Active Noise Selection via Attention), an acquisition function that measures entropy disagreement across multiple stochastic attention samples to estimate model confidence and consistency. For efficient inference-time deployment, we introduce a Bernoulli-masked approximation of BANSA that enables score estimation using a single diffusion step and a subset of attention layers. Experiments on CogVideoX-2B and 5B demonstrate that ANSE improves video quality and temporal coherence with only an 8% and 13% increase in inference time, respectively, providing a principled and generalizable approach to noise selection in video diffusion. See our project page: https://anse-project.github.io/anse-project/