テキストテンプレートトークンは拡散トランスフォーマーにおける暗黙的な意味レジスタである。

要旨

テキストから画像への拡散トランスフォーマー（DiTs）はテキストトークンと画像トークンを共に処理するが、ノイズ除去中の内部計算は未だ十分に理解されていない。我々は、注意機構分解とトークンスパン、ヘッド、レイヤーにわたる対象的介入を組み合わせた、現代の大規模DiTのための因果的解釈可能性フレームワークを導入する。これを用いてプロンプト内容トークンと構造テンプレートトークンを分離したところ、構造トークンはエンコーダ出力においてプロンプト固有の情報をほとんど保持していないことがわかった。しかし驚くべきことに、それらは支配的な画像からテキストへの注意シンクとして現れ、DiT内部で物体同一性を因果的に維持し、暗黙的意味レジスタとして機能する。我々は、これらがこの同一性を間接的に獲得することを示す。プロンプトの意味情報は最初に画像潜在変数に注入され、その後テンプレートトークンに読み戻されるのであって、プロンプトトークンから直接転送されるのではない。上記の発見に触発され、我々はDiTのための訓練不要のプルーニングルールを設計する。プロンプトトークンに最も強く注意を向けるヘッドは不要であり、それらをプルーニングすると注意FLOPsの20%が削減され、GenEvalのスコアはわずか1.4ポイント低下する。さらに我々は、DiTにおける生成計算がヘッドと深さにわたってどのように編成されているかを明らかにする。意味ルーティングと視覚合成を分離し、同一性形成から伝播、洗練へと進行する。我々の研究は、入力時に意味を符号化するトークンが生成中にそれを維持するトークンである必要はないことを明らかにするだけでなく、DiT内部メカニズムの因果的見解を提供する。

English

Text-to-image diffusion transformers (DiTs) jointly process text and image tokens, yet their internal computation during denoising remains poorly understood. We introduce a causal interpretability framework for modern large-scale DiTs that combines attention decomposition with targeted interventions across token spans, heads, and layers. Using it to separate prompt-content tokens from structural template tokens, we find that the structural tokens carry little prompt-specific information at the encoder output. Yet surprisingly, they emerge as dominant image-to-text attention sinks and causally maintain object identity inside the DiT, acting as implicit semantic registers. We show that they acquire this identity indirectly, with prompt semantics first injected into the image latents and then read back into the template tokens rather than transferred directly from the prompt tokens. Inspired by the above findings, we design a training-free pruning rule for DiTs. Heads that attend most strongly to prompt tokens are dispensable, and pruning them removes 20% of attention FLOPs with only a 1.4-point drop on GenEval. We further reveal how generative computation in DiTs is organized across heads and depth, separating semantic routing from visual synthesis and progressing from identity formation to propagation and refinement. Our work not only reveals that the tokens encoding semantics at input need not be those that maintain it during generation, but also provides a causal view of internal mechanisms in DiTs.