PRISM: Aprendizaje de Conocimiento de Diseño a partir de Datos para la Mejora Estilística del Diseño
PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement
January 16, 2026
Autores: Huaxiaoyue Wang, Sunav Choudhary, Franck Dernoncourt, Yu Shen, Stefano Petrangeli
cs.AI
Resumen
El diseño gráfico a menudo implica explorar diferentes direcciones estilísticas, lo que puede ser consumidor de tiempo para los no expertos. Abordamos este problema de mejorar diseños estilísticamente basándonos en instrucciones en lenguaje natural. Si bien los Modelos de Lenguaje Visual (VLM) han mostrado un éxito inicial en diseño gráfico, su conocimiento preentrenado sobre estilos suele ser demasiado general y está desalineado con los datos específicos del dominio. Por ejemplo, los VLM pueden asociar el minimalismo con diseños abstractos, mientras que los diseñadores enfatizan las elecciones de forma y color. Nuestra idea clave es aprovechar los datos de diseño —una colección de diseños del mundo real que capturan implícitamente los principios de los diseñadores— para aprender conocimiento de diseño y guiar la mejora estilística. Proponemos PRISM (Modificación Estilística Informada por Priores), que construye y aplica una base de conocimiento de diseño a través de tres etapas: (1) agrupar diseños de alta varianza para capturar la diversidad dentro de un estilo, (2) resumir cada grupo en conocimiento de diseño accionable, y (3) recuperar conocimiento relevante durante la inferencia para permitir una mejora consciente del estilo. Los experimentos en el conjunto de datos Crello muestran que PRISM logra un rango promedio más alto de 1.49 (más cercano a 1 es mejor) sobre los métodos de referencia en alineación de estilo. Los estudios de usuario validan además estos resultados, mostrando que PRISM es consistentemente preferido por los diseñadores.
English
Graphic design often involves exploring different stylistic directions, which can be time-consuming for non-experts. We address this problem of stylistically improving designs based on natural language instructions. While VLMs have shown initial success in graphic design, their pretrained knowledge on styles is often too general and misaligned with specific domain data. For example, VLMs may associate minimalism with abstract designs, whereas designers emphasize shape and color choices. Our key insight is to leverage design data -- a collection of real-world designs that implicitly capture designer's principles -- to learn design knowledge and guide stylistic improvement. We propose PRISM (PRior-Informed Stylistic Modification) that constructs and applies a design knowledge base through three stages: (1) clustering high-variance designs to capture diversity within a style, (2) summarizing each cluster into actionable design knowledge, and (3) retrieving relevant knowledge during inference to enable style-aware improvement. Experiments on the Crello dataset show that PRISM achieves the highest average rank of 1.49 (closer to 1 is better) over baselines in style alignment. User studies further validate these results, showing that PRISM is consistently preferred by designers.