InstantStyle: テキストから画像生成におけるスタイル保持へのフリーランチ

InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

April 3, 2024

著者: Haofan Wang, Qixun Wang, Xu Bai, Zekui Qin, Anthony Chen

cs.AI

要旨

チューニング不要の拡散モデルは、画像のパーソナライゼーションとカスタマイズの分野で大きな可能性を示しています。しかし、この顕著な進歩にもかかわらず、現在のモデルはスタイル一貫性のある画像生成において、いくつかの複雑な課題に直面しています。第一に、スタイルという概念は本質的に未決定であり、色、素材、雰囲気、デザイン、構造など、多様な要素を含んでいます。第二に、逆変換ベースの手法はスタイルの劣化を招きやすく、細部のディテールが失われることが頻繁にあります。最後に、アダプターベースのアプローチでは、スタイルの強度とテキストの制御性のバランスを取るために、各参照画像に対して入念な重み調整が必要となることが多いです。本論文では、まずいくつかの興味深いが頻繁に見落とされている観察を検討します。その後、これらの課題に対処するために設計されたInstantStyleフレームワークを紹介します。このフレームワークは、以下の2つの主要な戦略を実装しています：1) 同じ空間内の特徴量は互いに加算または減算できるという前提に基づき、参照画像からスタイルとコンテンツを特徴空間で分離するシンプルなメカニズム。2) 参照画像の特徴量をスタイル固有のブロックにのみ注入することで、スタイルの漏洩を防ぎ、パラメータが多くなりがちな設計で必要となる煩雑な重み調整を回避します。我々の研究は、スタイルの強度とテキスト要素の制御性の最適なバランスを実現し、優れた視覚的スタイライゼーション結果を示しています。コードはhttps://github.com/InstantStyle/InstantStyleで公開予定です。

English

Tuning-free diffusion-based models have demonstrated significant potential in the realm of image personalization and customization. However, despite this notable progress, current models continue to grapple with several complex challenges in producing style-consistent image generation. Firstly, the concept of style is inherently underdetermined, encompassing a multitude of elements such as color, material, atmosphere, design, and structure, among others. Secondly, inversion-based methods are prone to style degradation, often resulting in the loss of fine-grained details. Lastly, adapter-based approaches frequently require meticulous weight tuning for each reference image to achieve a balance between style intensity and text controllability. In this paper, we commence by examining several compelling yet frequently overlooked observations. We then proceed to introduce InstantStyle, a framework designed to address these issues through the implementation of two key strategies: 1) A straightforward mechanism that decouples style and content from reference images within the feature space, predicated on the assumption that features within the same space can be either added to or subtracted from one another. 2) The injection of reference image features exclusively into style-specific blocks, thereby preventing style leaks and eschewing the need for cumbersome weight tuning, which often characterizes more parameter-heavy designs.Our work demonstrates superior visual stylization outcomes, striking an optimal balance between the intensity of style and the controllability of textual elements. Our codes will be available at https://github.com/InstantStyle/InstantStyle.