CGB-DM: コンテンツとグラフィックのバランスを考慮したレイアウト生成のためのTransformerベースの拡散モデル

CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

July 21, 2024

著者: Yu Li, Yifan Chen, Gongye Liu, Jie Wu, Yujiu Yang

cs.AI

要旨

レイアウト生成はインテリジェントデザインの基盤となるタスクであり、視覚的な美学とコンテンツ配信の調和のとれた表現を統合する必要があります。しかし、既存の手法では、ブロッキング、オーバーラップ、またはレイアウト間の空間的な位置ずれなど、正確で視覚的に魅力的なレイアウトを生成する上で課題が残っています。これらの問題は、グラフィックレイアウトの空間構造と密接に関連しています。我々は、これらの手法がコンテンツ情報に過度に焦点を当て、レイアウトの空間構造に対する制約が不足しているため、コンテンツ認識とグラフィック認識の特徴の学習バランスが崩れていることを発見しました。この問題を解決するために、Transformerベースの拡散モデルを用いたコンテンツとグラフィックのバランスを考慮したレイアウト生成（CGB-DM）を提案します。具体的には、まず、キャンバス上のコンテンツに過度に注目する傾向を克服するために、予測されたコンテンツとグラフィックの重みをバランスさせるレギュレータを設計します。次に、サリエンシーバウンディングボックスのグラフィック制約を導入し、レイアウト表現と画像間の幾何学的特徴の整合性をさらに強化します。さらに、強力な生成能力を備えたTransformerベースの拡散モデルをバックボーンとして採用し、レイアウト生成の品質を保証します。広範な実験結果は、我々の手法が定量的および定性的な評価において最先端の性能を達成したことを示しています。我々のモデルフレームワークは、他のグラフィックデザイン分野にも拡張可能です。

English

Layout generation is the foundation task of intelligent design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlap, or spatial misalignment between layouts, which are closely related to the spatial structure of graphic layouts. We find that these methods overly focus on content information and lack constraints on layout spatial structure, resulting in an imbalance of learning content-aware and graphic-aware features. To tackle this issue, we propose Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model (CGB-DM). Specifically, we first design a regulator that balances the predicted content and graphic weight, overcoming the tendency of paying more attention to the content on canvas. Secondly, we introduce a graphic constraint of saliency bounding box to further enhance the alignment of geometric features between layout representations and images. In addition, we adapt a transformer-based diffusion model as the backbone, whose powerful generation capability ensures the quality in layout generation. Extensive experimental results indicate that our method has achieved state-of-the-art performance in both quantitative and qualitative evaluations. Our model framework can also be expanded to other graphic design fields.