Allineamento Concettuale Consapevole del Movimento per un Editing Video Coerente
Motion-Aware Concept Alignment for Consistent Video Editing
June 1, 2025
Autori: Tong Zhang, Juan C Leon Alcazar, Bernard Ghanem
cs.AI
Abstract
Presentiamo MoCA-Video (Motion-Aware Concept Alignment in Video), un framework senza necessità di addestramento che colma il divario tra la miscelazione semantica nel dominio delle immagini e i video. Dato un video generato e un'immagine di riferimento fornita dall'utente, MoCA-Video inietta le caratteristiche semantiche dell'immagine di riferimento in un oggetto specifico all'interno del video, preservando il movimento originale e il contesto visivo. Il nostro approccio sfrutta una pianificazione diagonale del rumore e una segmentazione agnostica rispetto alla classe per rilevare e tracciare gli oggetti nello spazio latente e controllare con precisione la posizione spaziale degli oggetti miscelati. Per garantire la coerenza temporale, incorporiamo correzioni semantiche basate sul momento e una stabilizzazione del rumore residuo gamma per transizioni fluide tra i fotogrammi. Valutiamo le prestazioni di MoCA utilizzando gli standard SSIM, LPIPS a livello di immagine, LPIPS temporale e introduciamo una nuova metrica CASS (Conceptual Alignment Shift Score) per valutare la coerenza e l'efficacia degli spostamenti visivi tra il prompt sorgente e i fotogrammi video modificati. Utilizzando un dataset auto-costruito, MoCA-Video supera le baseline attuali, raggiungendo una consistenza spaziale superiore, un movimento coerente e un punteggio CASS significativamente più alto, nonostante non abbia alcun addestramento o fine-tuning. MoCA-Video dimostra che la manipolazione strutturata nella traiettoria del rumore di diffusione consente una sintesi video controllabile e di alta qualità.
English
We introduce MoCA-Video (Motion-Aware Concept Alignment in Video), a
training-free framework bridging the gap between image-domain semantic mixing
and video. Given a generated video and a user-provided reference image,
MoCA-Video injects the semantic features of the reference image into a specific
object within the video, while preserving the original motion and visual
context. Our approach leverages a diagonal denoising schedule and
class-agnostic segmentation to detect and track objects in the latent space and
precisely control the spatial location of the blended objects. To ensure
temporal coherence, we incorporate momentum-based semantic corrections and
gamma residual noise stabilization for smooth frame transitions. We evaluate
MoCA's performance using the standard SSIM, image-level LPIPS, temporal LPIPS,
and introduce a novel metric CASS (Conceptual Alignment Shift Score) to
evaluate the consistency and effectiveness of the visual shifts between the
source prompt and the modified video frames. Using self-constructed dataset,
MoCA-Video outperforms current baselines, achieving superior spatial
consistency, coherent motion, and a significantly higher CASS score, despite
having no training or fine-tuning. MoCA-Video demonstrates that structured
manipulation in the diffusion noise trajectory allows for controllable,
high-quality video synthesis.