PRISM: Erwerb von Gestaltungswissen aus Daten zur stilistischen Designverbesserung

PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement

January 16, 2026

papers.authors: Huaxiaoyue Wang, Sunav Choudhary, Franck Dernoncourt, Yu Shen, Stefano Petrangeli

cs.AI

papers.abstract

Grafikdesign beinhaltet oft die Erkundung verschiedener stilistischer Richtungen, was für Laien zeitaufwändig sein kann. Wir behandeln dieses Problem der stilistischen Verbesserung von Designs auf Basis natürlicher Sprachinstruktionen. Während VLMs (Vision-Language Models) erste Erfolge im Grafikdesign gezeigt haben, ist ihr vortrainiertes Wissen über Stile oft zu allgemein und mit domänenspezifischen Daten nicht abgestimmt. Beispielsweise könnten VLMs Minimalismus mit abstrakten Designs assoziieren, während Designer Form- und Farbwahl betonen. Unsere zentrale Erkenntnis ist, dass Design-Daten – eine Sammlung realer Designs, die implizit Gestaltungsprinzipien erfassen – genutzt werden können, um Designwissen zu erlernen und stilistische Verbesserungen zu steuern. Wir schlagen PRISM (PRior-Informed Stylistic Modification) vor, das eine Designwissensbasis in drei Phasen aufbaut und anwendet: (1) Clustering von Designs mit hoher Varianz zur Erfassung stilistischer Diversität, (2) Zusammenfassung jedes Clusters in anwendbares Designwissen und (3) Abruf relevanter Wissenselemente während der Inferenz zur ermöglichten stilbewussten Verbesserung. Experimente mit dem Crello-Datensatz zeigen, dass PRISM mit einem durchschnittlichen Rang von 1.49 (näher an 1 ist besser) die beste Stilausrichtung unter den Baseline-Methoden erzielt. Nutzerstudien bestätigen diese Ergebnisse und zeigen, dass PRISM von Designern konsistent bevorzugt wird.

English

Graphic design often involves exploring different stylistic directions, which can be time-consuming for non-experts. We address this problem of stylistically improving designs based on natural language instructions. While VLMs have shown initial success in graphic design, their pretrained knowledge on styles is often too general and misaligned with specific domain data. For example, VLMs may associate minimalism with abstract designs, whereas designers emphasize shape and color choices. Our key insight is to leverage design data -- a collection of real-world designs that implicitly capture designer's principles -- to learn design knowledge and guide stylistic improvement. We propose PRISM (PRior-Informed Stylistic Modification) that constructs and applies a design knowledge base through three stages: (1) clustering high-variance designs to capture diversity within a style, (2) summarizing each cluster into actionable design knowledge, and (3) retrieving relevant knowledge during inference to enable style-aware improvement. Experiments on the Crello dataset show that PRISM achieves the highest average rank of 1.49 (closer to 1 is better) over baselines in style alignment. User studies further validate these results, showing that PRISM is consistently preferred by designers.