CGB-DM: Генерация макета сбалансированного содержания и графики с использованием модели диффузии на основе трансформера

CGB-DM: Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model

July 21, 2024

Авторы: Yu Li, Yifan Chen, Gongye Liu, Jie Wu, Yujiu Yang

cs.AI

Аннотация

Генерация макета является основной задачей интеллектуального дизайна, которая требует интеграции визуальной эстетики и гармоничного выражения доставки контента. Однако существующие методы по-прежнему сталкиваются с проблемами в создании точных и визуально привлекательных макетов, включая блокировку, перекрытие или пространственное неправильное выравнивание между макетами, что тесно связано со структурой пространства графических макетов. Мы обнаружили, что эти методы слишком сосредоточены на информации о контенте и лишены ограничений на пространственную структуру макета, что приводит к дисбалансу в обучении функциям, связанным с содержанием и графикой. Для решения этой проблемы мы предлагаем Генерацию макета с балансом контента и графики с использованием модели диффузии на основе трансформера (CGB-DM). Конкретно, мы сначала разрабатываем регулятор, который балансирует предсказанный вес контента и графики, преодолевая тенденцию уделять больше внимания контенту на холсте. Во-вторых, мы вводим графическое ограничение на ограничивающий прямоугольник выдачи для дальнейшего улучшения выравнивания геометрических особенностей между представлениями макета и изображениями. Кроме того, мы адаптируем модель диффузии на основе трансформера в качестве основы, чьи мощные возможности генерации обеспечивают качество в генерации макета. Обширные экспериментальные результаты показывают, что наш метод достиг состояния искусства как в количественных, так и в качественных оценках. Наша модельная структура также может быть расширена на другие области графического дизайна.

English

Layout generation is the foundation task of intelligent design, which requires the integration of visual aesthetics and harmonious expression of content delivery. However, existing methods still face challenges in generating precise and visually appealing layouts, including blocking, overlap, or spatial misalignment between layouts, which are closely related to the spatial structure of graphic layouts. We find that these methods overly focus on content information and lack constraints on layout spatial structure, resulting in an imbalance of learning content-aware and graphic-aware features. To tackle this issue, we propose Content and Graphic Balance Layout Generation with Transformer-based Diffusion Model (CGB-DM). Specifically, we first design a regulator that balances the predicted content and graphic weight, overcoming the tendency of paying more attention to the content on canvas. Secondly, we introduce a graphic constraint of saliency bounding box to further enhance the alignment of geometric features between layout representations and images. In addition, we adapt a transformer-based diffusion model as the backbone, whose powerful generation capability ensures the quality in layout generation. Extensive experimental results indicate that our method has achieved state-of-the-art performance in both quantitative and qualitative evaluations. Our model framework can also be expanded to other graphic design fields.