Création d'animation 3D à partir de dessins de personnages uniques

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

Auteurs: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

Résumé

Animer divers dessins de personnages est une tâche engageante de création de contenu visuel. Étant donné un seul dessin de personnage, les méthodes d'animation existantes sont limitées aux mouvements 2D plats et manquent donc d'effets 3D. Une solution alternative consiste à reconstruire un modèle 3D à partir d'un dessin de personnage en tant que proxy, puis à retargetter des données de mouvement 3D dessus. Cependant, les méthodes existantes d'image vers 3D ne fonctionnaient pas bien pour les dessins de personnages amateurs en termes d'apparence et de géométrie. Nous observons que les lignes de contour, couramment présentes dans les dessins de personnages, introduiraient une ambiguïté significative dans la synthèse de texture en raison de leur dépendance à la vue. De plus, les régions fines représentées par des contours à une seule ligne sont difficiles à reconstruire (par exemple, les membres minces d'un bonhomme bâton) en raison de leurs structures délicates. Pour résoudre ces problèmes, nous proposons un système novateur, DrawingSpinUp, pour produire des animations 3D plausibles et insuffler de la vie dans les dessins de personnages, leur permettant de tourner librement, de sauter, voire même d'effectuer une danse hip-hop. Pour améliorer l'apparence, nous adoptons une stratégie de suppression puis de restauration pour d'abord éliminer les lignes de contour dépendantes de la vue, puis les rendre après le retargeting du personnage reconstruit. Pour affiner la géométrie, nous développons un algorithme de déformation d'amincissement basé sur un squelette pour affiner les structures minces représentées par les contours à une seule ligne. Les évaluations expérimentales et une étude utilisateur perceptuelle montrent que notre méthode proposée surpasse les méthodes d'animation 2D et 3D existantes et génère des animations 3D de haute qualité à partir d'un seul dessin de personnage. Veuillez vous référer à notre page de projet (https://lordliang.github.io/DrawingSpinUp) pour le code et les animations générées.

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.