CGB-DM: Generazione di Layout con Bilanciamento di Contenuto e Grafica utilizzando un Modello di Diffusione basato su Transformer

CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

July 21, 2024

Autori: Yu Li, Yifan Chen, Gongye Liu, Jie Wu, Yujiu Yang

cs.AI

Abstract

La generazione di layout è il compito fondamentale del design intelligente, che richiede l'integrazione dell'estetica visiva e dell'espressione armoniosa della consegna dei contenuti. Tuttavia, i metodi esistenti affrontano ancora sfide nella generazione di layout precisi e visivamente accattivanti, inclusi problemi di blocco, sovrapposizione o disallineamento spaziale tra i layout, che sono strettamente correlati alla struttura spaziale dei layout grafici. Abbiamo osservato che questi metodi si concentrano eccessivamente sulle informazioni dei contenuti e mancano di vincoli sulla struttura spaziale del layout, determinando uno squilibrio nell'apprendimento delle caratteristiche consapevoli dei contenuti e delle caratteristiche consapevoli della grafica. Per affrontare questo problema, proponiamo la Generazione di Layout con Bilanciamento di Contenuto e Grafica utilizzando un Modello di Diffusione basato su Transformer (CGB-DM). Nello specifico, progettiamo innanzitutto un regolatore che bilancia il peso previsto dei contenuti e della grafica, superando la tendenza a prestare maggiore attenzione ai contenuti sulla tela. In secondo luogo, introduciamo un vincolo grafico del riquadro di salienza per migliorare ulteriormente l'allineamento delle caratteristiche geometriche tra le rappresentazioni dei layout e le immagini. Inoltre, adattiamo un modello di diffusione basato su transformer come architettura principale, la cui potente capacità di generazione garantisce la qualità nella generazione dei layout. I risultati sperimentali estesi indicano che il nostro metodo ha raggiunto prestazioni all'avanguardia sia nelle valutazioni quantitative che qualitative. Il nostro framework di modello può anche essere esteso ad altri campi del design grafico.

English

Layout generation is the foundation task of intelligent design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlap, or spatial misalignment between layouts, which are closely related to the spatial structure of graphic layouts. We find that these methods overly focus on content information and lack constraints on layout spatial structure, resulting in an imbalance of learning content-aware and graphic-aware features. To tackle this issue, we propose Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model (CGB-DM). Specifically, we first design a regulator that balances the predicted content and graphic weight, overcoming the tendency of paying more attention to the content on canvas. Secondly, we introduce a graphic constraint of saliency bounding box to further enhance the alignment of geometric features between layout representations and images. In addition, we adapt a transformer-based diffusion model as the backbone, whose powerful generation capability ensures the quality in layout generation. Extensive experimental results indicate that our method has achieved state-of-the-art performance in both quantitative and qualitative evaluations. Our model framework can also be expanded to other graphic design fields.