BiGR: 画像生成と視覚表現能力の向上のためのバイナリ潜在コードの活用

BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities

October 18, 2024

著者: Shaozhe Hao, Xuantong Liu, Xianbiao Qi, Shihao Zhao, Bojia Zi, Rong Xiao, Kai Han, Kwan-Yee K. Wong

cs.AI

要旨

BiGRという新しい条件付き画像生成モデルを紹介します。このモデルは、生成と表現能力の両方を高めることに焦点を当て、生成トレーニングにコンパクトなバイナリ潜在コードを使用しています。BiGRは、生成と識別を同じフレームワーク内で統合する初めての条件付き生成モデルです。BiGRにはバイナリトークナイザー、マスク付きモデリングメカニズム、およびバイナリコード予測用のバイナリトランスコーダが特徴として組み込まれています。さらに、効率的な画像生成を可能にする新しいエントロピー順サンプリング方法を導入しています。幅広い実験により、FID-50kによる生成品質の向上と、リニアプローブ精度による表現能力の向上がBiGRの優れたパフォーマンスを裏付けています。さらに、BiGRは、画像のインペインティング、アウトペインティング、編集、補間、およびエンリッチメントなどのアプリケーションを、構造の変更を必要とせずに可能にするさまざまなビジョンタスクでのゼロショット汎化を披露しています。私たちの調査結果は、BiGRが生成的タスクと識別的タスクを効果的に統合し、この分野でのさらなる進歩の道を開いていることを示唆しています。

English

We introduce BiGR, a novel conditional image generation model using compact binary latent codes for generative training, focusing on enhancing both generation and representation capabilities. BiGR is the first conditional generative model that unifies generation and discrimination within the same framework. BiGR features a binary tokenizer, a masked modeling mechanism, and a binary transcoder for binary code prediction. Additionally, we introduce a novel entropy-ordered sampling method to enable efficient image generation. Extensive experiments validate BiGR's superior performance in generation quality, as measured by FID-50k, and representation capabilities, as evidenced by linear-probe accuracy. Moreover, BiGR showcases zero-shot generalization across various vision tasks, enabling applications such as image inpainting, outpainting, editing, interpolation, and enrichment, without the need for structural modifications. Our findings suggest that BiGR unifies generative and discriminative tasks effectively, paving the way for further advancements in the field.