MATRIX: Alineación de Mascara y Seguimiento para la Generación de Vídeo Consciente de la Interacción

MATRIX: Mask Track Alignment for Interaction-aware Video Generation

October 8, 2025

Autores: Siyoon Jin, Seongchan Kim, Dahyun Chung, Jaeho Lee, Hyunwook Choi, Jisu Nam, Jiyoung Kim, Seungryong Kim

cs.AI

Resumen

Los Video DiTs han avanzado en la generación de videos, pero aún tienen dificultades para modelar interacciones multi-instancia o sujeto-objeto. Esto plantea una pregunta clave: ¿Cómo representan internamente estas interacciones los modelos? Para responder a esto, hemos creado MATRIX-11K, un conjunto de datos de videos con descripciones conscientes de las interacciones y seguimientos de máscaras multi-instancia. Utilizando este conjunto de datos, realizamos un análisis sistemático que formaliza dos perspectivas de los Video DiTs: la fundamentación semántica, a través de la atención video-a-texto, que evalúa si los tokens de sustantivos y verbos capturan las instancias y sus relaciones; y la propagación semántica, a través de la atención video-a-video, que evalúa si los enlaces de instancias persisten a lo largo de los fotogramas. Descubrimos que ambos efectos se concentran en un pequeño subconjunto de capas dominadas por interacciones. Motivados por esto, introducimos MATRIX, una regularización simple y efectiva que alinea la atención en capas específicas de los Video DiTs con los seguimientos de máscaras multi-instancia del conjunto de datos MATRIX-11K, mejorando tanto la fundamentación como la propagación. Además, proponemos InterGenEval, un protocolo de evaluación para la generación de videos consciente de las interacciones. En los experimentos, MATRIX mejora tanto la fidelidad de las interacciones como la alineación semántica, mientras reduce la deriva y las alucinaciones. Ablaciones extensas validan nuestras decisiones de diseño. Los códigos y pesos serán publicados.

English

Video DiTs have advanced video generation, yet they still struggle to model multi-instance or subject-object interactions. This raises a key question: How do these models internally represent interactions? To answer this, we curate MATRIX-11K, a video dataset with interaction-aware captions and multi-instance mask tracks. Using this dataset, we conduct a systematic analysis that formalizes two perspectives of video DiTs: semantic grounding, via video-to-text attention, which evaluates whether noun and verb tokens capture instances and their relations; and semantic propagation, via video-to-video attention, which assesses whether instance bindings persist across frames. We find both effects concentrate in a small subset of interaction-dominant layers. Motivated by this, we introduce MATRIX, a simple and effective regularization that aligns attention in specific layers of video DiTs with multi-instance mask tracks from the MATRIX-11K dataset, enhancing both grounding and propagation. We further propose InterGenEval, an evaluation protocol for interaction-aware video generation. In experiments, MATRIX improves both interaction fidelity and semantic alignment while reducing drift and hallucination. Extensive ablations validate our design choices. Codes and weights will be released.