数字が語るとき：テキスト映像拡散モデルにおける数値表現と視覚的実例の整合性（注：タイトルは学術論文の形式に合わせて、「数値表現と視覚的実例の整合性」というより専門的な表現に修正しました。元の「When Numbers Speak」の詩的なニュアンスを「数字が語るとき」と訳しつつ、研究内容を明確に示す表現を採用しています。）

要旨

テキスト動画拡散モデルはオープンエンドな動画生成を可能にしますが、プロンプトで指定された正確な数のオブジェクトを生成することに課題を抱えることが多い。本論文では、数値的整合性を改善するトレーニング不要の識別-誘導フレームワーク「NUMINA」を提案する。NUMINAは、識別力のある自己注意および交差注意ヘッドを選択して計数可能な潜在レイアウトを導出し、プロンプトとレイアウトの不整合を特定する。次にこのレイアウトを保守的に洗練し、交差注意を変調して再生成を誘導する。新たに導入したCountBenchによる評価では、NUMINAはWan2.1-1.3Bにおいて最大7.4%、5Bおよび14Bモデルではそれぞれ4.9%および5.5%の計数精度向上を達成した。さらに、時間的一貫性を維持しながらCLIP整合性も改善される。これらの結果は、構造的誘導がシード検索やプロンプト拡張を補完し、計数精度の高いテキスト動画拡散への実用的な道筋を提供することを示す。コードはhttps://github.com/H-EmbodVis/NUMINA で公開されている。

English

Text-to-video diffusion models have enabled open-ended video synthesis, but often struggle with generating the correct number of objects specified in a prompt. We introduce NUMINA , a training-free identify-then-guide framework for improved numerical alignment. NUMINA identifies prompt-layout inconsistencies by selecting discriminative self- and cross-attention heads to derive a countable latent layout. It then refines this layout conservatively and modulates cross-attention to guide regeneration. On the introduced CountBench, NUMINA improves counting accuracy by up to 7.4% on Wan2.1-1.3B, and by 4.9% and 5.5% on 5B and 14B models, respectively. Furthermore, CLIP alignment is improved while maintaining temporal consistency. These results demonstrate that structural guidance complements seed search and prompt enhancement, offering a practical path toward count-accurate text-to-video diffusion. The code is available at https://github.com/H-EmbodVis/NUMINA.

When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models

要旨

Support