De-Diffusionはテキストを強力なクロスモーダルインターフェースにする

要旨

テキストを強力なクロスモーダルインターフェースとして示す。画像と言語を接続するインターフェース表現として深層埋め込みに依存するのではなく、我々のアプローチでは画像をテキストとして表現し、自然言語に内在する解釈可能性と柔軟性を享受する。デコーディングに事前学習済みのテキストから画像への拡散モデルを使用するオートエンコーダを採用する。エンコーダは入力画像をテキストに変換するように訓練され、そのテキストは固定されたテキストから画像への拡散デコーダに供給され、元の入力を再構築する。このプロセスを我々はDe-Diffusionと呼ぶ。実験により、De-Diffusionテキストが画像を表現する精度と包括性が検証され、市販のテキストから画像へのツールやLLMが多様なマルチモーダルタスクに容易に取り込めることが示された。例えば、単一のDe-Diffusionモデルは、異なるテキストから画像へのツールに対して転移可能なプロンプトを提供するように一般化でき、また、大規模言語モデルに少数の例でプロンプトを与えるだけで、オープンエンドの視覚言語タスクにおいて新たな最先端を達成する。

English

We demonstrate text as a strong cross-modal interface. Rather than relying on deep embeddings to connect image and language as the interface representation, our approach represents an image as text, from which we enjoy the interpretability and flexibility inherent to natural language. We employ an autoencoder that uses a pre-trained text-to-image diffusion model for decoding. The encoder is trained to transform an input image into text, which is then fed into the fixed text-to-image diffusion decoder to reconstruct the original input -- a process we term De-Diffusion. Experiments validate both the precision and comprehensiveness of De-Diffusion text representing images, such that it can be readily ingested by off-the-shelf text-to-image tools and LLMs for diverse multi-modal tasks. For example, a single De-Diffusion model can generalize to provide transferable prompts for different text-to-image tools, and also achieves a new state of the art on open-ended vision-language tasks by simply prompting large language models with few-shot examples.

De-Diffusionはテキストを強力なクロスモーダルインターフェースにする

De-Diffusion Makes Text a Strong Cross-Modal Interface

要旨

Support