Creazione di animazioni 3D da disegni di personaggi singoli

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

Autori: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

Abstract

L'animazione di vari disegni di personaggi è un coinvolgente compito di creazione di contenuti visivi. Dato un singolo disegno di personaggio, i metodi di animazione esistenti sono limitati a movimenti bidimensionali piatti e mancano quindi di effetti tridimensionali. Una soluzione alternativa è ricostruire un modello 3D da un disegno di personaggio come procura e quindi riindirizzare i dati di movimento 3D su di esso. Tuttavia, i metodi esistenti di immagine-a-3D non funzionavano bene per i disegni di personaggi amatoriali in termini di aspetto e geometria. Osserviamo che le linee di contorno, comunemente presenti nei disegni di personaggi, potrebbero introdurre un'ambiguità significativa nella sintesi della texture a causa della loro dipendenza dalla vista. Inoltre, le regioni sottili rappresentate da contorni a linea singola sono difficili da ricostruire (ad esempio, arti sottili di un omino di bastoncino) a causa delle loro strutture delicate. Per affrontare questi problemi, proponiamo un nuovo sistema, DrawingSpinUp, per produrre plausibili animazioni 3D e infondere vita nei disegni di personaggi, consentendo loro di girare liberamente, saltare e persino eseguire una danza hip-hop. Per migliorare l'aspetto, adottiamo una strategia di rimozione e successiva ripristino per rimuovere prima le linee di contorno dipendenti dalla vista e quindi renderle di nuovo dopo aver riindirizzato il personaggio ricostruito. Per il perfezionamento della geometria, sviluppiamo un algoritmo di deformazione di assottigliamento basato su scheletro per perfezionare le strutture sottili rappresentate dai contorni a linea singola. Le valutazioni sperimentali e uno studio utente percettivo mostrano che il nostro metodo proposto supera i metodi di animazione 2D e 3D esistenti e genera animazioni 3D di alta qualità da un singolo disegno di personaggio. Si prega di fare riferimento alla nostra pagina del progetto (https://lordliang.github.io/DrawingSpinUp) per il codice e le animazioni generate.

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.