DesenhoSpinUp: Animação 3D a partir de Desenhos de Personagens Únicos

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

Autores: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

Resumo

A animação de várias ilustrações de personagens é uma tarefa envolvente de criação de conteúdo visual. Dado um único desenho de personagem, os métodos de animação existentes são limitados a movimentos 2D planos e, portanto, carecem de efeitos 3D. Uma solução alternativa é reconstruir um modelo 3D a partir de um desenho de personagem como um proxy e, em seguida, redirecionar dados de movimento 3D para ele. No entanto, os métodos existentes de imagem para 3D não funcionam bem para desenhos de personagens amadores em termos de aparência e geometria. Observamos que as linhas de contorno, comumente presentes em desenhos de personagens, poderiam introduzir ambiguidade significativa na síntese de textura devido à sua dependência de visualização. Além disso, regiões finas representadas por contornos de linha única são difíceis de reconstruir (por exemplo, membros finos de um boneco de palito) devido às suas estruturas delicadas. Para lidar com esses problemas, propomos um sistema inovador, DrawingSpinUp, para produzir animações 3D plausíveis e dar vida aos desenhos de personagens, permitindo que eles girem livremente, saltem e até mesmo realizem uma dança de hip-hop. Para melhorar a aparência, adotamos uma estratégia de remoção e restauração para primeiro remover as linhas de contorno dependentes da visualização e depois renderizá-las novamente após redirecionar o personagem reconstruído. Para o aprimoramento da geometria, desenvolvemos um algoritmo de deformação de afinamento baseado em esqueleto para refinar as estruturas finas representadas pelos contornos de linha única. As avaliações experimentais e um estudo de usuário perceptivo mostram que nosso método proposto supera os métodos de animação 2D e 3D existentes e gera animações 3D de alta qualidade a partir de um único desenho de personagem. Consulte nossa página do projeto (https://lordliang.github.io/DrawingSpinUp) para o código e as animações geradas.

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.