Van Elementen tot Ontwerp: Een Gelaagde Benadering voor Automatisch Grafisch Ontwerp Compositie

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

Auteurs: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

Samenvatting

In dit werk onderzoeken we de automatische ontwerpsamenstelling van multimodale grafische elementen. Hoewel recente studies verschillende generatieve modellen voor grafisch ontwerp hebben ontwikkeld, worden ze meestal geconfronteerd met de volgende beperkingen: ze richten zich alleen op bepaalde subtaken en zijn ver verwijderd van het volbrengen van de ontwerpsamenstellingstaak; ze houden geen rekening met de hiërarchische informatie van grafische ontwerpen tijdens het generatieproces. Om deze problemen aan te pakken, introduceren we het gelaagde ontwerpprincipe in Grote Multimodale Modellen (LMM's) en stellen we een nieuw benadering voor, genaamd LaDeCo, om deze uitdagende taak te volbrengen. Specifiek voert LaDeCo eerst een lagenplanning uit voor een gegeven elementenset, waarbij de invoerelementen worden verdeeld in verschillende semantische lagen op basis van hun inhoud. Op basis van de planningsresultaten voorspelt het vervolgens elementkenmerken die de ontwerpsamenstelling op een laagsgewijze manier aansturen, en neemt het het weergegeven beeld van eerder gegenereerde lagen op in de context. Met dit inzichtelijke ontwerp decomposeert LaDeCo de moeilijke taak in kleinere beheersbare stappen, waardoor het generatieproces soepeler en duidelijker verloopt. De experimentele resultaten tonen de effectiviteit van LaDeCo in ontwerpsamenstelling aan. Bovendien laten we zien dat LaDeCo enkele interessante toepassingen in grafisch ontwerp mogelijk maakt, zoals resolutieaanpassing, elementinvulling, ontwerpvariatie, enz. Bovendien presteert het zelfs beter dan gespecialiseerde modellen in sommige ontwerpsubtaken zonder enige taakspecifieke training.

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.