De la composition à la conception : Une approche en couches pour la conception graphique automatique

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

Auteurs: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

Résumé

Dans ce travail, nous étudions la composition automatique de designs à partir d'éléments graphiques multimodaux. Bien que des études récentes aient développé divers modèles génératifs pour le design graphique, ils font généralement face aux limitations suivantes : ils se concentrent uniquement sur certains sous-tâches et sont loin d'atteindre la tâche de composition de design ; ils ne prennent pas en compte l'information hiérarchique des designs graphiques lors du processus de génération. Pour résoudre ces problèmes, nous introduisons le principe de conception en couches dans les Grands Modèles Multimodaux (LMMs) et proposons une approche novatrice, appelée LaDeCo, pour accomplir cette tâche difficile. Plus précisément, LaDeCo effectue d'abord une planification en couches pour un ensemble d'éléments donné, en divisant les éléments d'entrée en différentes couches sémantiques selon leur contenu. Sur la base des résultats de la planification, il prédit ensuite les attributs des éléments qui contrôlent la composition du design de manière couche par couche, et inclut l'image rendue des couches précédemment générées dans le contexte. Avec cette conception perspicace, LaDeCo décompose la tâche difficile en étapes plus petites et gérables, rendant le processus de génération plus fluide et plus clair. Les résultats expérimentaux démontrent l'efficacité de LaDeCo dans la composition de design. De plus, nous montrons que LaDeCo permet certaines applications intéressantes en design graphique, telles que l'ajustement de la résolution, le remplissage d'éléments, la variation de design, etc. De plus, il surpasse même les modèles spécialisés dans certaines sous-tâches de design sans aucun entraînement spécifique à la tâche.

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.