Lip Forcing: Autoregressive Diffusion mit wenigen Schritten zur Echtzeit-Lippensynchronisation

Zusammenfassung

Diffusionsbasierte Lippen-Synchronisationsmodelle erzielen eine hohe visuelle Qualität und audiovisuelle Ausrichtung, jedoch machen bidirektionale Aufmerksamkeit über die gesamte Sequenz und viele Entrauschungsschritte sie für Echtzeit-Inferenz unpraktikabel. Wir präsentieren Lip Forcing, nach unserem Wissen die erste autoregressive Diffusionsmethode für Video-zu-Video (V2V) Lippen-Synchronisation, die einen 14B audiokonditionierten bidirektionalen Video-Diffusionslehrer in kausale Schüler destilliert. Bei der Inferenz erzeugen die Schüler jedes Segment in nur zwei Entrauschungsschritten ohne Inferenz-CFG, was eine Echtzeit-Lippen-Synchronisation ermöglicht. Eine lippensynchronisationsspezifische Lehrer-Trajektorien-Analyse zeigt einen CFG-Fidelity-Sync-Kompromiss: Vorhersagen ohne CFG bevorzugen die Referenztreue, während CFG-gesteuerte Vorhersagen die Synchronisation innerhalb eines mittleren Trajektorienbandes bevorzugen. Lip Forcing überführt dieses Ergebnis in drei analysenbasierte Komponenten: Sync-Window DMD, einen zweistufigen Inferenzplan und eine SyncNet-basierte Belohnung. Wir validieren Lip Forcing in zwei Schülergrößen, die beide aus dem 14B-Lehrer destilliert wurden. Der 1,3B-Schüler erreicht Echtzeit-Streaming bei 31 FPS, 17,6-mal schneller als sein gleichgroßes bidirektionales Modell. Der 14B-Schüler, das größte für V2V-Lippensynchronisation berichtete Diffusionsmodell, läuft 39,8-mal schneller als sein Lehrer bei vergleichbarer Referenztreue. Die Zeit bis zum ersten Frame liegt bei beiden Größen im Sub-Millisekundenbereich, weit unter jeder Diffusionsbasislinie.

English

Diffusion-based lip synchronization models achieve strong visual quality and audio-visual alignment, but full-sequence bidirectional attention and many denoising steps make them impractical for real-time inference. We present Lip Forcing, to our knowledge the first autoregressive diffusion method for video-to-video (V2V) lip synchronization, which distills a 14B audio-conditioned bidirectional video diffusion teacher into causal students. At inference, the students generate each chunk in only two denoising steps without inference-time CFG, enabling real-time lip synchronization. A lip-sync-specific teacher-trajectory analysis reveals a CFG fidelity-sync tradeoff: no-CFG predictions favor reference fidelity, whereas CFG-guided predictions favor synchronization within a mid-trajectory band. Lip Forcing translates this finding into three analysis-derived components: Sync-Window DMD, a two-step inference schedule, and a SyncNet-based reward. We validate Lip Forcing at two student scales, both distilled from the 14B teacher. The 1.3B student crosses into real-time streaming at 31 FPS, 17.6times faster than its same-scale bidirectional model. The 14B student, the largest diffusion model reported for V2V lip synchronization, runs 39.8times faster than its teacher at comparable reference fidelity. Time-to-first-frame is sub-millisecond at both scales, far below every diffusion baseline.