PRISM: Извлечение знаний о проектировании из данных для стилистического улучшения дизайна

PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement

January 16, 2026

Авторы: Huaxiaoyue Wang, Sunav Choudhary, Franck Dernoncourt, Yu Shen, Stefano Petrangeli

cs.AI

Аннотация

Графический дизайн часто предполагает исследование различных стилистических направлений, что может быть трудоемким для неспециалистов. Мы решаем задачу стилевого улучшения дизайнов на основе инструкций на естественном языке. Хотя VLM (модели зрения и языка) показали первоначальный успех в графическом дизайне, их предварительно обученные знания о стилях часто слишком общие и не соответствуют конкретным доменным данным. Например, VLM могут ассоциировать минимализм с абстрактными дизайнами, тогда как дизайнеры делают акцент на выборе форм и цветов. Наше ключевое предположение заключается в использовании дизайнерских данных — коллекции реальных дизайнов, которые неявно отражают принципы дизайнеров — для изучения дизайнерских знаний и руководства стилевым улучшением. Мы предлагаем метод PRISM (PRior-Informed Stylistic Modification), который создает и применяет базу дизайнерских знаний в три этапа: (1) кластеризация дизайнов с высокой вариативностью для учета разнообразия внутри стиля, (2) обобщение каждого кластера в практические дизайнерские принципы и (3) извлечение релевантных знаний на этапе вывода для обеспечения стиле-ориентированного улучшения. Эксперименты на наборе данных Crello показывают, что PRISM достигает наивысшего среднего ранга 1.49 (чем ближе к 1, тем лучше) по сравнению с базовыми методами в выравнивании стиля. Пользовательские исследования дополнительно подтверждают эти результаты, показывая, что дизайнеры последовательно предпочитают PRISM.

English

Graphic design often involves exploring different stylistic directions, which can be time-consuming for non-experts. We address this problem of stylistically improving designs based on natural language instructions. While VLMs have shown initial success in graphic design, their pretrained knowledge on styles is often too general and misaligned with specific domain data. For example, VLMs may associate minimalism with abstract designs, whereas designers emphasize shape and color choices. Our key insight is to leverage design data -- a collection of real-world designs that implicitly capture designer's principles -- to learn design knowledge and guide stylistic improvement. We propose PRISM (PRior-Informed Stylistic Modification) that constructs and applies a design knowledge base through three stages: (1) clustering high-variance designs to capture diversity within a style, (2) summarizing each cluster into actionable design knowledge, and (3) retrieving relevant knowledge during inference to enable style-aware improvement. Experiments on the Crello dataset show that PRISM achieves the highest average rank of 1.49 (closer to 1 is better) over baselines in style alignment. User studies further validate these results, showing that PRISM is consistently preferred by designers.