MATRIX: Masken-Track-Ausrichtung für interaktionsbewusste Videogenerierung

MATRIX: Mask Track Alignment for Interaction-aware Video Generation

October 8, 2025

papers.authors: Siyoon Jin, Seongchan Kim, Dahyun Chung, Jaeho Lee, Hyunwook Choi, Jisu Nam, Jiyoung Kim, Seungryong Kim

cs.AI

papers.abstract

Video DiTs haben die Videogenerierung vorangetrieben, kämpfen jedoch noch immer damit, Multi-Instanz- oder Subjekt-Objekt-Interaktionen zu modellieren. Dies wirft eine zentrale Frage auf: Wie repräsentieren diese Modelle Interaktionen intern? Um dies zu beantworten, haben wir MATRIX-11K kuratiert, ein Videodatensatz mit interaktionsbewussten Beschriftungen und Multi-Instanz-Maskenverläufen. Mit diesem Datensatz führen wir eine systematische Analyse durch, die zwei Perspektiven von Video DiTs formalisiert: semantische Verankerung, über Video-zu-Text-Aufmerksamkeit, die bewertet, ob Substantiv- und Verb-Token Instanzen und ihre Beziehungen erfassen; und semantische Propagation, über Video-zu-Video-Aufmerksamkeit, die beurteilt, ob Instanzbindungen über Frames hinweg bestehen bleiben. Wir stellen fest, dass beide Effekte in einer kleinen Teilmenge von interaktionsdominanten Schichten konzentriert sind. Motiviert durch diese Erkenntnis führen wir MATRIX ein, eine einfache und effektive Regularisierung, die die Aufmerksamkeit in bestimmten Schichten von Video DiTs mit Multi-Instanz-Maskenverläufen aus dem MATRIX-11K-Datensatz ausrichtet und sowohl die Verankerung als auch die Propagation verbessert. Weiterhin schlagen wir InterGenEval vor, ein Bewertungsprotokoll für interaktionsbewusste Videogenerierung. In Experimenten verbessert MATRIX sowohl die Interaktionsfidelität als auch die semantische Ausrichtung, während Drift und Halluzination reduziert werden. Umfangreiche Ablationen validieren unsere Designentscheidungen. Codes und Gewichte werden veröffentlicht.

English

Video DiTs have advanced video generation, yet they still struggle to model multi-instance or subject-object interactions. This raises a key question: How do these models internally represent interactions? To answer this, we curate MATRIX-11K, a video dataset with interaction-aware captions and multi-instance mask tracks. Using this dataset, we conduct a systematic analysis that formalizes two perspectives of video DiTs: semantic grounding, via video-to-text attention, which evaluates whether noun and verb tokens capture instances and their relations; and semantic propagation, via video-to-video attention, which assesses whether instance bindings persist across frames. We find both effects concentrate in a small subset of interaction-dominant layers. Motivated by this, we introduce MATRIX, a simple and effective regularization that aligns attention in specific layers of video DiTs with multi-instance mask tracks from the MATRIX-11K dataset, enhancing both grounding and propagation. We further propose InterGenEval, an evaluation protocol for interaction-aware video generation. In experiments, MATRIX improves both interaction fidelity and semantic alignment while reducing drift and hallucination. Extensive ablations validate our design choices. Codes and weights will be released.