От элементов к дизайну: Пошаговый подход к автоматическому графическому дизайну Композиция

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

Авторы: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

Аннотация

В данной работе мы исследуем автоматическое компонование дизайна из мультимодальных графических элементов. Хотя недавние исследования разработали различные генеративные модели для графического дизайна, они обычно сталкиваются с следующими ограничениями: они сосредотачиваются только на определенных подзадачах и далеки от выполнения задачи компоновки дизайна; они не учитывают иерархическую информацию графических дизайнов в процессе генерации. Для решения этих проблем мы внедряем принцип слоистого дизайна в Большие Мультимодальные Модели (LMMs) и предлагаем новый подход, названный LaDeCo, для выполнения этой сложной задачи. Конкретно, LaDeCo сначала выполняет планирование слоев для заданного набора элементов, разделяя входные элементы на различные семантические слои в соответствии с их содержанием. На основе результатов планирования он затем предсказывает атрибуты элементов, контролирующие компоновку дизайна слой за слоем, и включает отрендеренное изображение ранее сгенерированных слоев в контекст. Благодаря этому проницательному дизайну LaDeCo разбивает сложную задачу на более мелкие управляемые шаги, что делает процесс генерации более плавным и понятным. Экспериментальные результаты демонстрируют эффективность LaDeCo в компоновке дизайна. Более того, мы показываем, что LaDeCo позволяет реализовать некоторые интересные приложения в графическом дизайне, такие как коррекция разрешения, заполнение элементов, вариация дизайна и т. д. Кроме того, он даже превосходит специализированные модели в некоторых подзадачах дизайна без какого-либо обучения, специфичного для задачи.

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.