MATRIX: Allineamento della Maschera per il Tracciamento nella Generazione Video Consapevole delle Interazioni

MATRIX: Mask Track Alignment for Interaction-aware Video Generation

October 8, 2025

Autori: Siyoon Jin, Seongchan Kim, Dahyun Chung, Jaeho Lee, Hyunwook Choi, Jisu Nam, Jiyoung Kim, Seungryong Kim

cs.AI

Abstract

I Video DiTs hanno fatto progressi nella generazione video, ma continuano a incontrare difficoltà nel modellare interazioni multi-istanza o soggetto-oggetto. Ciò solleva una domanda cruciale: come rappresentano internamente queste interazioni? Per rispondere, abbiamo creato MATRIX-11K, un dataset video con didascalie consapevoli delle interazioni e tracce di maschere multi-istanza. Utilizzando questo dataset, conduciamo un'analisi sistematica che formalizza due prospettive dei Video DiTs: il grounding semantico, tramite l'attenzione video-to-text, che valuta se i token di sostantivi e verbi catturano le istanze e le loro relazioni; e la propagazione semantica, tramite l'attenzione video-to-video, che valuta se i legami delle istanze persistono tra i fotogrammi. Scopriamo che entrambi gli effetti si concentrano in un piccolo sottoinsieme di strati dominati dalle interazioni. Motivati da ciò, introduciamo MATRIX, una regolarizzazione semplice ed efficace che allinea l'attenzione in specifici strati dei Video DiTs con le tracce di maschere multi-istanza del dataset MATRIX-11K, migliorando sia il grounding che la propagazione. Proponiamo inoltre InterGenEval, un protocollo di valutazione per la generazione video consapevole delle interazioni. Negli esperimenti, MATRIX migliora sia la fedeltà delle interazioni che l'allineamento semantico, riducendo deriva e allucinazioni. Estese ablazioni convalidano le nostre scelte progettuali. Codici e pesi verranno rilasciati.

English

Video DiTs have advanced video generation, yet they still struggle to model multi-instance or subject-object interactions. This raises a key question: How do these models internally represent interactions? To answer this, we curate MATRIX-11K, a video dataset with interaction-aware captions and multi-instance mask tracks. Using this dataset, we conduct a systematic analysis that formalizes two perspectives of video DiTs: semantic grounding, via video-to-text attention, which evaluates whether noun and verb tokens capture instances and their relations; and semantic propagation, via video-to-video attention, which assesses whether instance bindings persist across frames. We find both effects concentrate in a small subset of interaction-dominant layers. Motivated by this, we introduce MATRIX, a simple and effective regularization that aligns attention in specific layers of video DiTs with multi-instance mask tracks from the MATRIX-11K dataset, enhancing both grounding and propagation. We further propose InterGenEval, an evaluation protocol for interaction-aware video generation. In experiments, MATRIX improves both interaction fidelity and semantic alignment while reducing drift and hallucination. Extensive ablations validate our design choices. Codes and weights will be released.