Quando os Números Falam: Alinhando Numerais Textuais e Instâncias Visuais em Modelos de Difusão Texto-para-Vídeo
When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models
April 9, 2026
Autores: Zhengyang Sun, Yu Chen, Xin Zhou, Xiaofan Li, Xiwu Chen, Dingkang Liang, Xiang Bai
cs.AI
Resumo
Os modelos de difusão texto-para-vídeo permitiram a síntese aberta de vídeos, mas frequentemente lutam para gerar o número correto de objetos especificados em um prompt. Apresentamos o NUMINA, uma estrutura de identificação e orientação que não requer treinamento para melhorar o alinhamento numérico. O NUMINA identifica inconsistências entre o prompt e o layout selecionando cabeças de auto-atenção e atenção cruzada discriminativas para derivar um layout latente contável. Em seguida, refina este layout de forma conservadora e modula a atenção cruzada para orientar a regeneração. No CountBench introduzido, o NUMINA melhora a precisão de contagem em até 7,4% no Wan2.1-1.3B, e em 4,9% e 5,5% nos modelos de 5B e 14B, respectivamente. Além disso, o alinhamento CLIP é melhorado enquanto mantém a consistência temporal. Estes resultados demonstram que a orientação estrutural complementa a busca por sementes e o aprimoramento de prompts, oferecendo um caminho prático para a difusão texto-para-vídeo com contagem precisa. O código está disponível em https://github.com/H-EmbodVis/NUMINA.
English
Text-to-video diffusion models have enabled open-ended video synthesis, but often struggle with generating the correct number of objects specified in a prompt. We introduce NUMINA , a training-free identify-then-guide framework for improved numerical alignment. NUMINA identifies prompt-layout inconsistencies by selecting discriminative self- and cross-attention heads to derive a countable latent layout. It then refines this layout conservatively and modulates cross-attention to guide regeneration. On the introduced CountBench, NUMINA improves counting accuracy by up to 7.4% on Wan2.1-1.3B, and by 4.9% and 5.5% on 5B and 14B models, respectively. Furthermore, CLIP alignment is improved while maintaining temporal consistency. These results demonstrate that structural guidance complements seed search and prompt enhancement, offering a practical path toward count-accurate text-to-video diffusion. The code is available at https://github.com/H-EmbodVis/NUMINA.