Loomis Painter: Ricostruzione del Processo Pittorico

Loomis Painter: Reconstructing the Painting Process

November 21, 2025

Autori: Markus Pobitzer, Chang Liu, Chenyi Zhuang, Teng Long, Bin Ren, Nicu Sebe

cs.AI

Abstract

I tutorial di pittura passo-passo sono fondamentali per apprendere tecniche artistiche, ma le risorse video esistenti (ad esempio YouTube) mancano di interattività e personalizzazione. Sebbene i recenti modelli generativi abbiano fatto progressi nella sintesi di immagini artistiche, faticano a generalizzare tra diversi mezzi espressivi e mostrano spesso incoerenze temporali o strutturali, ostacolando la riproduzione fedele dei flussi di lavoro creativi umani. Per affrontare questo problema, proponiamo un framework unificato per la generazione di processi pittorici multi-mezzo con un meccanismo di controllo stilistico guidato dalla semantica, che incorpora multiple tecniche nello spazio condizionale dei modelli di diffusione e utilizza un'augmentazione stilistica cross-mezzo. Ciò permette un'evoluzione consistente della texture e un trasferimento di processo tra stili diversi. Una strategia di addestramento a pittura inversa garantisce ulteriormente una generazione fluida e allineata al processo umano. Abbiamo inoltre costruito un dataset su larga scala di processi pittorici reali e valutato la coerenza cross-mezzo, la coerenza temporale e la fedeltà dell'immagine finale, ottenendo risultati solidi nelle metriche LPIPS, DINO e CLIP. Infine, la nostra curva del Profilo di Distanza Percettiva (PDP) modella quantitativamente la sequenza creativa - composizione, definizione delle campiture cromatiche e rifinitura dei dettagli - rispecchiando la progressione artistica umana.

English

Step-by-step painting tutorials are vital for learning artistic techniques, but existing video resources (e.g., YouTube) lack interactivity and personalization. While recent generative models have advanced artistic image synthesis, they struggle to generalize across media and often show temporal or structural inconsistencies, hindering faithful reproduction of human creative workflows. To address this, we propose a unified framework for multi-media painting process generation with a semantics-driven style control mechanism that embeds multiple media into a diffusion models conditional space and uses cross-medium style augmentation. This enables consistent texture evolution and process transfer across styles. A reverse-painting training strategy further ensures smooth, human-aligned generation. We also build a large-scale dataset of real painting processes and evaluate cross-media consistency, temporal coherence, and final-image fidelity, achieving strong results on LPIPS, DINO, and CLIP metrics. Finally, our Perceptual Distance Profile (PDP) curve quantitatively models the creative sequence, i.e., composition, color blocking, and detail refinement, mirroring human artistic progression.