PRISM: Ontwerpkennis Leren uit Data voor Stilistische Ontwerpverbetering
PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement
January 16, 2026
Auteurs: Huaxiaoyue Wang, Sunav Choudhary, Franck Dernoncourt, Yu Shen, Stefano Petrangeli
cs.AI
Samenvatting
Grafisch ontwerp omvat vaak het verkennen van verschillende stilistische richtingen, wat tijdrovend kan zijn voor niet-experts. Wij pakken dit probleem aan van het stijlvol verbeteren van ontwerpen op basis van natuurlijke taal instructies. Hoewel Vision-Language Models (VLMs) eerste successen hebben geboekt in grafisch ontwerp, is hun vooraf getrainde kennis over stijlen vaak te algemeen en niet afgestemd op domeinspecifieke data. VLMs associëren minimalisme bijvoorbeeld met abstracte ontwerpen, terwijl ontwerpers de nadruk leggen op vorm- en kleurkeuzes. Onze belangrijkste inzicht is om ontwerpdata – een verzameling real-world ontwerpen die de principes van ontwerpers impliciet vastleggen – te benutten om ontwerpkennis te leren en stijlverbetering te sturen. Wij stellen PRISM (PRior-Informed Stylistic Modification) voor, dat een ontwerp-kennisdatabase opbouwt en toepast in drie fasen: (1) het clusteren van ontwerpen met hoge variantie om de diversiteit binnen een stijl vast te leggen, (2) het samenvatten van elke cluster in toepasbare ontwerpkennis, en (3) het ophalen van relevante kennis tijdens inferentie om stijlbewuste verbetering mogelijk te maken. Experimenten op de Crello-dataset tonen aan dat PRISM een gemiddelde rangschikking van 1.49 (dichter bij 1 is beter) behaalt ten opzichte van de baseline-methoden in stijlaanpassing. Gebruikersstudies valideren deze resultaten verder en tonen aan dat ontwerpers consistent de voorkeur geven aan PRISM.
English
Graphic design often involves exploring different stylistic directions, which can be time-consuming for non-experts. We address this problem of stylistically improving designs based on natural language instructions. While VLMs have shown initial success in graphic design, their pretrained knowledge on styles is often too general and misaligned with specific domain data. For example, VLMs may associate minimalism with abstract designs, whereas designers emphasize shape and color choices. Our key insight is to leverage design data -- a collection of real-world designs that implicitly capture designer's principles -- to learn design knowledge and guide stylistic improvement. We propose PRISM (PRior-Informed Stylistic Modification) that constructs and applies a design knowledge base through three stages: (1) clustering high-variance designs to capture diversity within a style, (2) summarizing each cluster into actionable design knowledge, and (3) retrieving relevant knowledge during inference to enable style-aware improvement. Experiments on the Crello dataset show that PRISM achieves the highest average rank of 1.49 (closer to 1 is better) over baselines in style alignment. User studies further validate these results, showing that PRISM is consistently preferred by designers.