CGB-DM: Geração de Layout de Equilíbrio de Conteúdo e Gráfico com Modelo de Difusão Baseado em Transformer

CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

July 21, 2024

Autores: Yu Li, Yifan Chen, Gongye Liu, Jie Wu, Yujiu Yang

cs.AI

Resumo

A geração de layout é a tarefa fundamental do design inteligente, que requer a integração de estética visual e expressão harmoniosa na entrega de conteúdo. No entanto, os métodos existentes ainda enfrentam desafios na geração de layouts precisos e visualmente atraentes, incluindo bloqueios, sobreposições ou desalinhamentos espaciais entre layouts, que estão intimamente relacionados com a estrutura espacial dos layouts gráficos. Observamos que esses métodos focam excessivamente nas informações de conteúdo e carecem de restrições na estrutura espacial do layout, resultando em um desequilíbrio na aprendizagem de recursos conscientes de conteúdo e gráficos. Para lidar com esse problema, propomos a Geração de Layout com Equilíbrio de Conteúdo e Gráfico usando Modelo de Difusão baseado em Transformer (CGB-DM). Especificamente, primeiro projetamos um regulador que equilibra o peso previsto de conteúdo e gráfico, superando a tendência de prestar mais atenção ao conteúdo na tela. Em segundo lugar, introduzimos uma restrição gráfica de caixa delimitadora de saliência para aprimorar ainda mais o alinhamento de características geométricas entre representações de layout e imagens. Além disso, adaptamos um modelo de difusão baseado em transformer como espinha dorsal, cuja poderosa capacidade de geração garante a qualidade na geração de layout. Resultados experimentais extensivos indicam que nosso método alcançou desempenho de ponta em avaliações quantitativas e qualitativas. Nosso modelo de estrutura também pode ser expandido para outros campos de design gráfico.

English

Layout generation is the foundation task of intelligent design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlap, or spatial misalignment between layouts, which are closely related to the spatial structure of graphic layouts. We find that these methods overly focus on content information and lack constraints on layout spatial structure, resulting in an imbalance of learning content-aware and graphic-aware features. To tackle this issue, we propose Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model (CGB-DM). Specifically, we first design a regulator that balances the predicted content and graphic weight, overcoming the tendency of paying more attention to the content on canvas. Secondly, we introduce a graphic constraint of saliency bounding box to further enhance the alignment of geometric features between layout representations and images. In addition, we adapt a transformer-based diffusion model as the backbone, whose powerful generation capability ensures the quality in layout generation. Extensive experimental results indicate that our method has achieved state-of-the-art performance in both quantitative and qualitative evaluations. Our model framework can also be expanded to other graphic design fields.