Von Elementen zum Design: Ein geschichteter Ansatz für automatisches Grafikdesign Komposition

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

Autoren: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

Zusammenfassung

In dieser Arbeit untersuchen wir die automatische Designkomposition aus multimodalen grafischen Elementen. Obwohl in jüngsten Studien verschiedene generative Modelle für Grafikdesign entwickelt wurden, stehen sie in der Regel vor den folgenden Einschränkungen: Sie konzentrieren sich nur auf bestimmte Teilaufgaben und sind weit davon entfernt, die Designkompositionsaufgabe zu erreichen; sie berücksichtigen nicht die hierarchischen Informationen von Grafikdesigns während des Generierungsprozesses. Um diese Probleme zu bewältigen, führen wir das Schichtdesignprinzip in Large Multimodal Models (LMMs) ein und schlagen einen neuen Ansatz namens LaDeCo vor, um diese anspruchsvolle Aufgabe zu bewältigen. Konkret führt LaDeCo zunächst eine Schichtplanung für einen gegebenen Elementesatz durch, indem es die Eingabeelemente basierend auf ihrem Inhalt in verschiedene semantische Schichten aufteilt. Basierend auf den Planungsergebnissen sagt es anschließend Elementattribute vorher, die die Designkomposition schichtweise steuern, und integriert das gerenderte Bild der zuvor generierten Schichten in den Kontext. Mit diesem aufschlussreichen Design zerlegt LaDeCo die schwierige Aufgabe in kleinere, überschaubare Schritte, was den Generierungsprozess reibungsloser und klarer macht. Die experimentellen Ergebnisse zeigen die Wirksamkeit von LaDeCo in der Designkomposition. Darüber hinaus zeigen wir, dass LaDeCo einige interessante Anwendungen im Grafikdesign ermöglicht, wie beispielsweise Auflösungsanpassung, Elementfüllung, Designvariation usw. Darüber hinaus übertrifft es sogar spezialisierte Modelle in einigen Design-Teilaufgaben ohne jegliches aufgabenspezifisches Training.

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.