Peintre Loomis : Reconstruction du processus pictural

Loomis Painter: Reconstructing the Painting Process

November 21, 2025

papers.authors: Markus Pobitzer, Chang Liu, Chenyi Zhuang, Teng Long, Bin Ren, Nicu Sebe

cs.AI

papers.abstract

Les tutoriels de peinture étape par étape sont essentiels pour l'apprentissage des techniques artistiques, mais les ressources vidéo existantes (par exemple, YouTube) manquent d'interactivité et de personnalisation. Bien que les modèles génératifs récents aient fait progresser la synthèse d'images artistiques, ils peinent à généraliser entre les médias et présentent souvent des incohérences temporelles ou structurelles, entravant la reproduction fidèle des processus créatifs humains. Pour y remédier, nous proposons un cadre unifié pour la génération de processus de peinture multi-médias avec un mécanisme de contrôle de style sémantique qui intègre plusieurs médias dans l'espace conditionnel des modèles de diffusion et utilise une augmentation de style inter-médias. Cela permet une évolution cohérente des textures et un transfert de processus entre les styles. Une stratégie d'entraînement par peinture inverse assure en outre une génération fluide et alignée sur l'humain. Nous constituons également un vaste ensemble de données de processus de peinture réels et évaluons la cohérence inter-médias, la cohérence temporelle et la fidélité de l'image finale, obtenant des résultats solides sur les métriques LPIPS, DINO et CLIP. Enfin, notre courbe de Profil de Distance Perceptive (PDP) modélise quantitativement la séquence créative, c'est-à-dire la composition, la mise en couleur et l'affinement des détails, reflétant la progression artistique humaine.

English

Step-by-step painting tutorials are vital for learning artistic techniques, but existing video resources (e.g., YouTube) lack interactivity and personalization. While recent generative models have advanced artistic image synthesis, they struggle to generalize across media and often show temporal or structural inconsistencies, hindering faithful reproduction of human creative workflows. To address this, we propose a unified framework for multi-media painting process generation with a semantics-driven style control mechanism that embeds multiple media into a diffusion models conditional space and uses cross-medium style augmentation. This enables consistent texture evolution and process transfer across styles. A reverse-painting training strategy further ensures smooth, human-aligned generation. We also build a large-scale dataset of real painting processes and evaluate cross-media consistency, temporal coherence, and final-image fidelity, achieving strong results on LPIPS, DINO, and CLIP metrics. Finally, our Perceptual Distance Profile (PDP) curve quantitatively models the creative sequence, i.e., composition, color blocking, and detail refinement, mirroring human artistic progression.