Губное форсирование: малошаговая авторегрессионная диффузия для синхронизации губ в реальном времени

Аннотация

Диффузионные модели синхронизации губ обеспечивают высокое визуальное качество и аудиовизуальное соответствие, однако полное двунаправленное внимание и большое количество шагов шумоподавления делают их непрактичными для вывода в реальном времени. Мы представляем Lip Forcing — первый, насколько нам известно, авторегрессивный диффузионный метод для синхронизации губ по видео (V2V), который дистиллирует двунаправленного видео-диффузионного учителя с аудиоусловием в 14B параметров в каузальных студентов. На этапе вывода студенты генерируют каждый фрагмент всего за два шага шумоподавления без применения CFG во время вывода, что обеспечивает синхронизацию губ в реальном времени. Анализ траекторий учителя, специфичный для синхронизации губ, выявляет компромисс между точностью и синхронностью CFG: предсказания без CFG отдают предпочтение точности эталона, тогда как предсказания с CFG склоняются к синхронизации в средней части траектории. Lip Forcing преобразует этот вывод в три компонента, полученные в результате анализа: Sync-Window DMD, двухшаговый график вывода и вознаграждение на основе SyncNet. Мы проверяем Lip Forcing в двух масштабах студентов, оба дистиллированы от учителя с 14B параметров. Студент с 1.3B параметров достигает потоковой передачи в реальном времени со скоростью 31 кадр/с, что в 17,6 раза быстрее, чем его двунаправленная модель того же масштаба. Студент с 14B параметров, крупнейшая диффузионная модель из описанных для синхронизации губ V2V, работает в 39,8 раза быстрее своего учителя при сопоставимой точности эталона. Время до появления первого кадра составляет менее миллисекунды в обоих масштабах, что значительно ниже всех диффузионных базовых показателей.

English

Diffusion-based lip synchronization models achieve strong visual quality and audio-visual alignment, but full-sequence bidirectional attention and many denoising steps make them impractical for real-time inference. We present Lip Forcing, to our knowledge the first autoregressive diffusion method for video-to-video (V2V) lip synchronization, which distills a 14B audio-conditioned bidirectional video diffusion teacher into causal students. At inference, the students generate each chunk in only two denoising steps without inference-time CFG, enabling real-time lip synchronization. A lip-sync-specific teacher-trajectory analysis reveals a CFG fidelity-sync tradeoff: no-CFG predictions favor reference fidelity, whereas CFG-guided predictions favor synchronization within a mid-trajectory band. Lip Forcing translates this finding into three analysis-derived components: Sync-Window DMD, a two-step inference schedule, and a SyncNet-based reward. We validate Lip Forcing at two student scales, both distilled from the 14B teacher. The 1.3B student crosses into real-time streaming at 31 FPS, 17.6times faster than its same-scale bidirectional model. The 14B student, the largest diffusion model reported for V2V lip synchronization, runs 39.8times faster than its teacher at comparable reference fidelity. Time-to-first-frame is sub-millisecond at both scales, far below every diffusion baseline.