正確な物体数を実現するテキストから画像への生成：Make It Count

Make It Count: Text-to-Image Generation with an Accurate Number of Objects

June 14, 2024

著者: Lital Binyamin, Yoad Tewel, Hilit Segev, Eran Hirsch, Royi Rassin, Gal Chechik

cs.AI

要旨

テキストから画像を生成する拡散モデルは前例のない成功を収めていますが、テキストを用いて描画されるオブジェクトの数を制御することは驚くほど困難です。これは、技術文書から児童書、料理レシピのイラストまで、さまざまなアプリケーションにおいて重要です。オブジェクトの数を正確に生成することは根本的に難しい課題です。なぜなら、生成モデルは、たとえ複数のオブジェクトが同一に見えたり重なったりしていても、各オブジェクトの個別の同一性を保持し、生成中に暗黙的にグローバルな計算を実行する必要があるからです。そのような表現が存在するかどうかはまだわかっていません。数を正確に生成するために、まず拡散モデル内でオブジェクトの同一性情報を伝えることができる特徴を特定します。次に、それらを使用してノイズ除去プロセス中にオブジェクトのインスタンスを分離してカウントし、過剰生成や不足生成を検出します。後者については、既存のオブジェクトのレイアウトに基づいて欠けているオブジェクトの形状と位置を予測するモデルを訓練し、それを正しいオブジェクト数でノイズ除去をガイドするために使用する方法を示します。私たちのアプローチであるCountGenは、オブジェクトのレイアウトを決定するために外部ソースに依存せず、拡散モデル自体からの事前分布を使用して、プロンプト依存およびシード依存のレイアウトを作成します。2つのベンチマークデータセットで評価した結果、CountGenは既存のベースラインの数精度を大幅に上回ることがわかりました。

English

Despite the unprecedented success of text-to-image diffusion models, controlling the number of depicted objects using text is surprisingly hard. This is important for various applications from technical documents, to children's books to illustrating cooking recipes. Generating object-correct counts is fundamentally challenging because the generative model needs to keep a sense of separate identity for every instance of the object, even if several objects look identical or overlap, and then carry out a global computation implicitly during generation. It is still unknown if such representations exist. To address count-correct generation, we first identify features within the diffusion model that can carry the object identity information. We then use them to separate and count instances of objects during the denoising process and detect over-generation and under-generation. We fix the latter by training a model that predicts both the shape and location of a missing object, based on the layout of existing ones, and show how it can be used to guide denoising with correct object count. Our approach, CountGen, does not depend on external source to determine object layout, but rather uses the prior from the diffusion model itself, creating prompt-dependent and seed-dependent layouts. Evaluated on two benchmark datasets, we find that CountGen strongly outperforms the count-accuracy of existing baselines.