CGB-DM: Generación de Diseño de Distribución de Contenido y Gráficos con Modelo de Difusión basado en Transformadores

CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

July 21, 2024

Autores: Yu Li, Yifan Chen, Gongye Liu, Jie Wu, Yujiu Yang

cs.AI

Resumen

La generación de diseño es la tarea fundamental del diseño inteligente, que requiere la integración de la estética visual y la expresión armoniosa de la entrega de contenido. Sin embargo, los métodos existentes todavía enfrentan desafíos en la generación de diseños precisos y visualmente atractivos, incluyendo bloqueos, superposiciones o desalineaciones espaciales entre diseños, que están estrechamente relacionados con la estructura espacial de los diseños gráficos. Observamos que estos métodos se centran excesivamente en la información del contenido y carecen de restricciones en la estructura espacial del diseño, lo que resulta en un desequilibrio en el aprendizaje de características conscientes del contenido y conscientes de la gráfica. Para abordar este problema, proponemos la Generación de Diseño con Equilibrio de Contenido y Gráficos con Modelo de Difusión basado en Transformadores (CGB-DM). Específicamente, primero diseñamos un regulador que equilibra el peso del contenido y gráfico predicho, superando la tendencia de prestar más atención al contenido en el lienzo. En segundo lugar, introducimos una restricción gráfica de cuadro delimitador de prominencia para mejorar aún más la alineación de características geométricas entre las representaciones de diseño e imágenes. Además, adaptamos un modelo de difusión basado en transformadores como la columna vertebral, cuya potente capacidad de generación garantiza la calidad en la generación de diseños. Los extensos resultados experimentales indican que nuestro método ha logrado un rendimiento de vanguardia tanto en evaluaciones cuantitativas como cualitativas. Nuestro marco de modelo también puede expandirse a otros campos de diseño gráfico.

English

Layout generation is the foundation task of intelligent design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlap, or spatial misalignment between layouts, which are closely related to the spatial structure of graphic layouts. We find that these methods overly focus on content information and lack constraints on layout spatial structure, resulting in an imbalance of learning content-aware and graphic-aware features. To tackle this issue, we propose Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model (CGB-DM). Specifically, we first design a regulator that balances the predicted content and graphic weight, overcoming the tendency of paying more attention to the content on canvas. Secondly, we introduce a graphic constraint of saliency bounding box to further enhance the alignment of geometric features between layout representations and images. In addition, we adapt a transformer-based diffusion model as the backbone, whose powerful generation capability ensures the quality in layout generation. Extensive experimental results indicate that our method has achieved state-of-the-art performance in both quantitative and qualitative evaluations. Our model framework can also be expanded to other graphic design fields.