MATRIX : Alignement de Masques pour le Suivi et la Génération de Vidéos Conscientes des Interactions

MATRIX: Mask Track Alignment for Interaction-aware Video Generation

October 8, 2025

papers.authors: Siyoon Jin, Seongchan Kim, Dahyun Chung, Jaeho Lee, Hyunwook Choi, Jisu Nam, Jiyoung Kim, Seungryong Kim

cs.AI

papers.abstract

Les modèles de génération vidéo basés sur des transformateurs (Video DiTs) ont fait des progrès significatifs, mais ils peinent encore à modéliser les interactions multi-instances ou sujet-objet. Cela soulève une question clé : comment ces modèles représentent-ils intérieurement les interactions ? Pour y répondre, nous avons constitué MATRIX-11K, un ensemble de données vidéo comportant des descriptions sensibles aux interactions et des pistes de masques multi-instances. En utilisant cet ensemble de données, nous menons une analyse systématique qui formalise deux perspectives des Video DiTs : l'ancrage sémantique, via l'attention vidéo-texte, qui évalue si les tokens de noms et de verbes capturent les instances et leurs relations ; et la propagation sémantique, via l'attention vidéo-vidéo, qui évalue si les liaisons d'instances persistent à travers les images. Nous constatons que ces deux effets se concentrent dans un petit sous-ensemble de couches dominées par les interactions. Motivés par cette observation, nous introduisons MATRIX, une régularisation simple et efficace qui aligne l'attention dans des couches spécifiques des Video DiTs avec les pistes de masques multi-instances de l'ensemble de données MATRIX-11K, améliorant ainsi à la fois l'ancrage et la propagation. Nous proposons également InterGenEval, un protocole d'évaluation pour la génération vidéo sensible aux interactions. Dans les expériences, MATRIX améliore à la fois la fidélité des interactions et l'alignement sémantique tout en réduisant la dérive et les hallucinations. Des ablations approfondies valident nos choix de conception. Les codes et les poids seront publiés.

English

Video DiTs have advanced video generation, yet they still struggle to model multi-instance or subject-object interactions. This raises a key question: How do these models internally represent interactions? To answer this, we curate MATRIX-11K, a video dataset with interaction-aware captions and multi-instance mask tracks. Using this dataset, we conduct a systematic analysis that formalizes two perspectives of video DiTs: semantic grounding, via video-to-text attention, which evaluates whether noun and verb tokens capture instances and their relations; and semantic propagation, via video-to-video attention, which assesses whether instance bindings persist across frames. We find both effects concentrate in a small subset of interaction-dominant layers. Motivated by this, we introduce MATRIX, a simple and effective regularization that aligns attention in specific layers of video DiTs with multi-instance mask tracks from the MATRIX-11K dataset, enhancing both grounding and propagation. We further propose InterGenEval, an evaluation protocol for interaction-aware video generation. In experiments, MATRIX improves both interaction fidelity and semantic alignment while reducing drift and hallucination. Extensive ablations validate our design choices. Codes and weights will be released.