CGB-DM: Generierung von Layouts mit ausgewogenem Inhalt und Grafik mithilfe eines Transformer-basierten Diffusionsmodells

CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

July 21, 2024

Autoren: Yu Li, Yifan Chen, Gongye Liu, Jie Wu, Yujiu Yang

cs.AI

Zusammenfassung

Die Layoutgenerierung ist die grundlegende Aufgabe des intelligenten Designs, die die Integration von visueller Ästhetik und harmonischem Ausdruck der Inhaltsvermittlung erfordert. Allerdings stehen bestehende Methoden immer noch vor Herausforderungen bei der Generierung präziser und visuell ansprechender Layouts, einschließlich Blockierung, Überlappung oder räumlicher Verschiebung zwischen Layouts, die eng mit der räumlichen Struktur grafischer Layouts zusammenhängen. Wir stellen fest, dass diese Methoden sich übermäßig auf Inhaltsinformationen konzentrieren und Einschränkungen in der räumlichen Struktur des Layouts fehlen, was zu einem Ungleichgewicht bei der Erlernung von inhaltsbezogenen und grafikbezogenen Merkmalen führt. Um dieses Problem anzugehen, schlagen wir die Generierung von Layouts mit ausgewogenem Inhalt und Grafik durch ein Transformer-basiertes Diffusionsmodell (CGB-DM) vor. Speziell entwerfen wir zunächst einen Regler, der das vorhergesagte Inhalts- und Grafikgewicht ausbalanciert, um der Tendenz entgegenzuwirken, mehr Aufmerksamkeit auf den Inhalt auf der Leinwand zu richten. Zweitens führen wir eine grafische Einschränkung der Salienz-Bounding-Box ein, um die Ausrichtung geometrischer Merkmale zwischen Layout-Repräsentationen und Bildern weiter zu verbessern. Darüber hinaus passen wir ein Transformer-basiertes Diffusionsmodell als Rückgrat an, dessen leistungsstarke Generierungsfähigkeit die Qualität bei der Layoutgenerierung sicherstellt. Umfangreiche experimentelle Ergebnisse zeigen, dass unsere Methode sowohl in quantitativen als auch qualitativen Bewertungen eine Spitzenleistung erzielt hat. Unser Modellrahmen kann auch auf andere grafische Designbereiche erweitert werden.

English

Layout generation is the foundation task of intelligent design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlap, or spatial misalignment between layouts, which are closely related to the spatial structure of graphic layouts. We find that these methods overly focus on content information and lack constraints on layout spatial structure, resulting in an imbalance of learning content-aware and graphic-aware features. To tackle this issue, we propose Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model (CGB-DM). Specifically, we first design a regulator that balances the predicted content and graphic weight, overcoming the tendency of paying more attention to the content on canvas. Secondly, we introduce a graphic constraint of saliency bounding box to further enhance the alignment of geometric features between layout representations and images. In addition, we adapt a transformer-based diffusion model as the backbone, whose powerful generation capability ensures the quality in layout generation. Extensive experimental results indicate that our method has achieved state-of-the-art performance in both quantitative and qualitative evaluations. Our model framework can also be expanded to other graphic design fields.