De Elementos a Diseño: Un Enfoque Estratificado para el Diseño Gráfico Automático Composición

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

Autores: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

Resumen

En este trabajo, investigamos la composición automática de diseños a partir de elementos gráficos multimodales. Aunque estudios recientes han desarrollado varios modelos generativos para diseño gráfico, suelen enfrentar las siguientes limitaciones: se centran únicamente en ciertas subtareas y están lejos de lograr la tarea de composición de diseño; no consideran la información jerárquica de los diseños gráficos durante el proceso de generación. Para abordar estos problemas, introducimos el principio de diseño en capas en Modelos Multimodales Grandes (LMMs) y proponemos un enfoque novedoso, llamado LaDeCo, para llevar a cabo esta tarea desafiante. Específicamente, LaDeCo primero realiza la planificación de capas para un conjunto de elementos dado, dividiendo los elementos de entrada en diferentes capas semánticas según sus contenidos. Con base en los resultados de la planificación, posteriormente predice atributos de elementos que controlan la composición del diseño de manera por capas, e incluye la imagen renderizada de capas generadas previamente en el contexto. Con este diseño perspicaz, LaDeCo descompone la tarea difícil en pasos más pequeños y manejables, lo que hace que el proceso de generación sea más fluido y claro. Los resultados experimentales demuestran la efectividad de LaDeCo en la composición de diseño. Además, mostramos que LaDeCo permite algunas aplicaciones interesantes en diseño gráfico, como ajuste de resolución, relleno de elementos, variación de diseño, etc. Además, incluso supera a los modelos especializados en algunas subtareas de diseño sin ningún entrenamiento específico de tarea.

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.