Quando i numeri parlano: allineamento di numerali testuali e istanze visive nei modelli di diffusione testo-video
When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models
April 9, 2026
Autori: Zhengyang Sun, Yu Chen, Xin Zhou, Xiaofan Li, Xiwu Chen, Dingkang Liang, Xiang Bai
cs.AI
Abstract
I modelli di diffusione text-to-video hanno reso possibile la sintesi video aperta, ma spesso incontrano difficoltà nel generare il numero corretto di oggetti specificati in un prompt. Introduciamo NUMINA, un framework identify-then-guide che non richiede addestramento, per un migliore allineamento numerico. NUMINA identifica le incongruenze prompt-layout selezionando teste di self- e cross-attention discriminative per derivare un layout latente numerabile. Successivamente, raffina questo layout in modo conservativo e modula la cross-attention per guidare la rigenerazione. Sul benchmark introdotto CountBench, NUMINA migliora l'accuratezza del conteggio fino al 7,4% su Wan2.1-1.3B, e rispettivamente del 4,9% e 5,5% su modelli da 5B e 14B. Inoltre, l'allineamento CLIP è migliorato mantenendo la coerenza temporale. Questi risultati dimostrano che la guida strutturale complementa la ricerca del seed e il potenziamento del prompt, offrendo un percorso pratico verso la diffusione text-to-video con conteggio accurato. Il codice è disponibile all'indirizzo https://github.com/H-EmbodVis/NUMINA.
English
Text-to-video diffusion models have enabled open-ended video synthesis, but often struggle with generating the correct number of objects specified in a prompt. We introduce NUMINA , a training-free identify-then-guide framework for improved numerical alignment. NUMINA identifies prompt-layout inconsistencies by selecting discriminative self- and cross-attention heads to derive a countable latent layout. It then refines this layout conservatively and modulates cross-attention to guide regeneration. On the introduced CountBench, NUMINA improves counting accuracy by up to 7.4% on Wan2.1-1.3B, and by 4.9% and 5.5% on 5B and 14B models, respectively. Furthermore, CLIP alignment is improved while maintaining temporal consistency. These results demonstrate that structural guidance complements seed search and prompt enhancement, offering a practical path toward count-accurate text-to-video diffusion. The code is available at https://github.com/H-EmbodVis/NUMINA.