CGB-DM: Generatie van Lay-out voor Inhoud en Grafisch Evenwicht met een Transformer-gebaseerd Diffusiemodel

CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

July 21, 2024

Auteurs: Yu Li, Yifan Chen, Gongye Liu, Jie Wu, Yujiu Yang

cs.AI

Samenvatting

Lay-outgeneratie is de basistaak van intelligent ontwerp, waarbij de integratie van visuele esthetiek en harmonieuze weergave van contentoverdracht vereist is. Bestaande methoden kampen echter nog steeds met uitdagingen bij het genereren van precieze en visueel aantrekkelijke lay-outs, waaronder blokkering, overlap of ruimtelijke uitlijning tussen lay-outs, die nauw samenhangen met de ruimtelijke structuur van grafische lay-outs. Wij constateren dat deze methoden te veel focussen op contentinformatie en te weinig beperkingen opleggen aan de ruimtelijke structuur van lay-outs, wat resulteert in een onevenwichtige balans tussen contentbewuste en grafisch bewuste kenmerken. Om dit probleem aan te pakken, stellen wij Content and Graphic Balance Layout Generation met een Transformer-based Diffusion Model (CGB-DM) voor. Specifiek ontwerpen wij eerst een regulator die het voorspelde content- en grafische gewicht in balans brengt, waardoor de neiging om meer aandacht te besteden aan de content op het canvas wordt overwonnen. Ten tweede introduceren wij een grafische beperking van een saliency bounding box om de uitlijning van geometrische kenmerken tussen lay-outrepresentaties en afbeeldingen verder te verbeteren. Daarnaast passen wij een transformer-based diffusion model aan als backbone, waarvan de krachtige generatiecapaciteit de kwaliteit van lay-outgeneratie waarborgt. Uitgebreide experimentele resultaten tonen aan dat onze methode state-of-the-art prestaties heeft bereikt in zowel kwantitatieve als kwalitatieve evaluaties. Ons modelraamwerk kan ook worden uitgebreid naar andere grafische ontwerpgebieden.

English

Layout generation is the foundation task of intelligent design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlap, or spatial misalignment between layouts, which are closely related to the spatial structure of graphic layouts. We find that these methods overly focus on content information and lack constraints on layout spatial structure, resulting in an imbalance of learning content-aware and graphic-aware features. To tackle this issue, we propose Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model (CGB-DM). Specifically, we first design a regulator that balances the predicted content and graphic weight, overcoming the tendency of paying more attention to the content on canvas. Secondly, we introduce a graphic constraint of saliency bounding box to further enhance the alignment of geometric features between layout representations and images. In addition, we adapt a transformer-based diffusion model as the backbone, whose powerful generation capability ensures the quality in layout generation. Extensive experimental results indicate that our method has achieved state-of-the-art performance in both quantitative and qualitative evaluations. Our model framework can also be expanded to other graphic design fields.