PRISM: Aprendizado de Conhecimento de Design a partir de Dados para Melhoria de Design Estilístico

PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement

January 16, 2026

Autores: Huaxiaoyue Wang, Sunav Choudhary, Franck Dernoncourt, Yu Shen, Stefano Petrangeli

cs.AI

Resumo

O design gráfico frequentemente envolve explorar diferentes direções estilísticas, o que pode ser demorado para não especialistas. Abordamos este problema de melhorar estilisticamente designs com base em instruções de linguagem natural. Embora os Modelos de Linguagem Visual (VLMs) tenham demonstrado sucesso inicial em design gráfico, seu conhecimento pré-treinado sobre estilos é frequentemente muito genérico e desalinhado com dados específicos do domínio. Por exemplo, os VLMs podem associar minimalismo a designs abstratos, enquanto os designers enfatizam escolhas de forma e cor. Nossa principal percepção é aproveitar dados de design – uma coleção de designs do mundo real que capturam implicitamente os princípios dos designers – para aprender conhecimento de design e orientar a melhoria estilística. Propomos o PRISM (Modificação Estilística Informada por Prior – PRior-Informed Stylistic Modification) que constrói e aplica uma base de conhecimento de design através de três etapas: (1) agrupamento de designs de alta variância para capturar a diversidade dentro de um estilo, (2) sumarização de cada aglomerado em conhecimento de design acionável, e (3) recuperação de conhecimento relevante durante a inferência para permitir uma melhoria consciente do estilo. Experimentos no conjunto de dados Crello mostram que o PRISM alcança a classificação média mais alta de 1.49 (mais próximo de 1 é melhor) em relação às linhas de base no alinhamento de estilo. Estudos com usuários validam ainda mais esses resultados, mostrando que o PRISM é consistentemente preferido pelos designers.

English

Graphic design often involves exploring different stylistic directions, which can be time-consuming for non-experts. We address this problem of stylistically improving designs based on natural language instructions. While VLMs have shown initial success in graphic design, their pretrained knowledge on styles is often too general and misaligned with specific domain data. For example, VLMs may associate minimalism with abstract designs, whereas designers emphasize shape and color choices. Our key insight is to leverage design data -- a collection of real-world designs that implicitly capture designer's principles -- to learn design knowledge and guide stylistic improvement. We propose PRISM (PRior-Informed Stylistic Modification) that constructs and applies a design knowledge base through three stages: (1) clustering high-variance designs to capture diversity within a style, (2) summarizing each cluster into actionable design knowledge, and (3) retrieving relevant knowledge during inference to enable style-aware improvement. Experiments on the Crello dataset show that PRISM achieves the highest average rank of 1.49 (closer to 1 is better) over baselines in style alignment. User studies further validate these results, showing that PRISM is consistently preferred by designers.