PRISM : Acquisition de connaissances en conception à partir des données pour l'amélioration stylistique des designs

PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement

January 16, 2026

papers.authors: Huaxiaoyue Wang, Sunav Choudhary, Franck Dernoncourt, Yu Shen, Stefano Petrangeli

cs.AI

papers.abstract

La conception graphique implique souvent l'exploration de différentes directions stylistiques, ce qui peut être chronophage pour les non-experts. Nous abordons ce problème d'amélioration stylistique des conceptions basée sur des instructions en langage naturel. Bien que les modèles de vision et langage (VLM) aient connu un succès initial en design graphique, leurs connaissances pré-entraînées sur les styles sont souvent trop générales et non alignées avec les données spécifiques au domaine. Par exemple, les VLM peuvent associer le minimalisme à des designs abstraits, tandis que les designers mettent l'accent sur les choix de formes et de couleurs. Notre idée clé est d'exploiter les données de conception - une collection de designs réels qui capturent implicitement les principes des designers - pour apprendre les connaissances en design et guider l'amélioration stylistique. Nous proposons PRISM (PRior-Informed Stylistic Modification) qui construit et applique une base de connaissances en design à travers trois étapes : (1) le regroupement de designs à haute variance pour capturer la diversité au sein d'un style, (2) la synthèse de chaque groupe en connaissances de conception actionnables, et (3) la récupération des connaissances pertinentes lors de l'inférence pour permettre une amélioration consciente du style. Les expériences sur le jeu de données Crello montrent que PRISM obtient le rang moyen le plus élevé de 1,49 (plus proche de 1 étant meilleur) par rapport aux lignes de base en alignement stylistique. Les études utilisateurs valident davantage ces résultats, montrant que PRISM est systématiquement préféré par les designers.

English

Graphic design often involves exploring different stylistic directions, which can be time-consuming for non-experts. We address this problem of stylistically improving designs based on natural language instructions. While VLMs have shown initial success in graphic design, their pretrained knowledge on styles is often too general and misaligned with specific domain data. For example, VLMs may associate minimalism with abstract designs, whereas designers emphasize shape and color choices. Our key insight is to leverage design data -- a collection of real-world designs that implicitly capture designer's principles -- to learn design knowledge and guide stylistic improvement. We propose PRISM (PRior-Informed Stylistic Modification) that constructs and applies a design knowledge base through three stages: (1) clustering high-variance designs to capture diversity within a style, (2) summarizing each cluster into actionable design knowledge, and (3) retrieving relevant knowledge during inference to enable style-aware improvement. Experiments on the Crello dataset show that PRISM achieves the highest average rank of 1.49 (closer to 1 is better) over baselines in style alignment. User studies further validate these results, showing that PRISM is consistently preferred by designers.