MATRIX: Alinhamento de Máscara e Rastreamento para Geração de Vídeo com Consciência de Interação

MATRIX: Mask Track Alignment for Interaction-aware Video Generation

October 8, 2025

Autores: Siyoon Jin, Seongchan Kim, Dahyun Chung, Jaeho Lee, Hyunwook Choi, Jisu Nam, Jiyoung Kim, Seungryong Kim

cs.AI

Resumo

Os Video DiTs avançaram na geração de vídeos, mas ainda enfrentam dificuldades para modelar interações multi-instância ou sujeito-objeto. Isso levanta uma questão fundamental: Como esses modelos representam internamente as interações? Para responder a isso, criamos o MATRIX-11K, um conjunto de dados de vídeo com legendas conscientes de interações e trilhas de máscaras multi-instância. Utilizando esse conjunto de dados, realizamos uma análise sistemática que formaliza duas perspectivas dos Video DiTs: a fundamentação semântica, por meio da atenção vídeo-texto, que avalia se os tokens de substantivos e verbos capturam instâncias e suas relações; e a propagação semântica, por meio da atenção vídeo-vídeo, que verifica se os vínculos das instâncias persistem entre os quadros. Descobrimos que ambos os efeitos se concentram em um pequeno subconjunto de camadas dominadas por interações. Motivados por isso, introduzimos o MATRIX, uma regularização simples e eficaz que alinha a atenção em camadas específicas dos Video DiTs com as trilhas de máscaras multi-instância do conjunto de dados MATRIX-11K, melhorando tanto a fundamentação quanto a propagação. Além disso, propomos o InterGenEval, um protocolo de avaliação para geração de vídeos conscientes de interações. Nos experimentos, o MATRIX melhora tanto a fidelidade das interações quanto o alinhamento semântico, ao mesmo tempo que reduz a deriva e a alucinação. Ablações extensivas validam nossas escolhas de design. Códigos e pesos serão liberados.

English

Video DiTs have advanced video generation, yet they still struggle to model multi-instance or subject-object interactions. This raises a key question: How do these models internally represent interactions? To answer this, we curate MATRIX-11K, a video dataset with interaction-aware captions and multi-instance mask tracks. Using this dataset, we conduct a systematic analysis that formalizes two perspectives of video DiTs: semantic grounding, via video-to-text attention, which evaluates whether noun and verb tokens capture instances and their relations; and semantic propagation, via video-to-video attention, which assesses whether instance bindings persist across frames. We find both effects concentrate in a small subset of interaction-dominant layers. Motivated by this, we introduce MATRIX, a simple and effective regularization that aligns attention in specific layers of video DiTs with multi-instance mask tracks from the MATRIX-11K dataset, enhancing both grounding and propagation. We further propose InterGenEval, an evaluation protocol for interaction-aware video generation. In experiments, MATRIX improves both interaction fidelity and semantic alignment while reducing drift and hallucination. Extensive ablations validate our design choices. Codes and weights will be released.