CGB-DM: 트랜스포머 기반 확산 모델을 활용한 콘텐츠 및 그래픽 균형 레이아웃 생성

CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

July 21, 2024

저자: Yu Li, Yifan Chen, Gongye Liu, Jie Wu, Yujiu Yang

cs.AI

초록

레이아웃 생성은 지능형 디자인의 기초 작업으로, 시각적 미학과 콘텐츠 전달의 조화로운 표현을 통합해야 합니다. 그러나 기존 방법들은 정확하고 시각적으로 매력적인 레이아웃을 생성하는 데 있어 여전히 어려움을 겪고 있으며, 이는 블로킹, 겹침, 또는 레이아웃 간의 공간적 불일치와 같은 문제와 밀접하게 관련되어 있습니다. 이러한 문제는 그래픽 레이아웃의 공간적 구조와 깊은 연관이 있습니다. 우리는 이러한 방법들이 콘텐츠 정보에 지나치게 집중하고 레이아웃의 공간적 구조에 대한 제약이 부족하여, 콘텐츠 인지적 특성과 그래픽 인지적 특성의 학습 균형이 깨지는 것을 발견했습니다. 이 문제를 해결하기 위해, 우리는 Transformer 기반 확산 모델을 활용한 콘텐츠와 그래픽 균형 레이아웃 생성(CGB-DM)을 제안합니다. 구체적으로, 먼저 캔버스 상의 콘텐츠에 더 많은 주의를 기울이는 경향을 극복하기 위해 예측된 콘텐츠와 그래픽 가중치를 균형 있게 조절하는 조정기를 설계했습니다. 둘째, 레이아웃 표현과 이미지 간의 기하학적 특성 정렬을 더욱 강화하기 위해 주목 경계 상자의 그래픽 제약을 도입했습니다. 또한, 강력한 생성 능력을 보장하는 Transformer 기반 확산 모델을 백본으로 적응시켜 레이아웃 생성의 품질을 보장했습니다. 광범위한 실험 결과는 우리의 방법이 양적 및 질적 평가 모두에서 최신 기술을 달성했음을 보여줍니다. 우리의 모델 프레임워크는 다른 그래픽 디자인 분야로도 확장 가능합니다.

English

Layout generation is the foundation task of intelligent design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlap, or spatial misalignment between layouts, which are closely related to the spatial structure of graphic layouts. We find that these methods overly focus on content information and lack constraints on layout spatial structure, resulting in an imbalance of learning content-aware and graphic-aware features. To tackle this issue, we propose Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model (CGB-DM). Specifically, we first design a regulator that balances the predicted content and graphic weight, overcoming the tendency of paying more attention to the content on canvas. Secondly, we introduce a graphic constraint of saliency bounding box to further enhance the alignment of geometric features between layout representations and images. In addition, we adapt a transformer-based diffusion model as the backbone, whose powerful generation capability ensures the quality in layout generation. Extensive experimental results indicate that our method has achieved state-of-the-art performance in both quantitative and qualitative evaluations. Our model framework can also be expanded to other graphic design fields.