Creación de animación 3D a partir de dibujos de un solo personaje

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

Autores: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

Resumen

Animar varias ilustraciones de personajes es una tarea atractiva de creación de contenido visual. Dado un dibujo de un personaje, los métodos de animación existentes están limitados a movimientos planos en 2D y carecen de efectos en 3D. Una solución alternativa es reconstruir un modelo en 3D a partir de un dibujo de un personaje como un proxy y luego redirigir datos de movimiento en 3D hacia él. Sin embargo, los métodos existentes de imagen a 3D no funcionaban bien para dibujos de personajes amateur en términos de apariencia y geometría. Observamos que las líneas de contorno, comúnmente presentes en los dibujos de personajes, podrían introducir una ambigüedad significativa en la síntesis de texturas debido a su dependencia de la vista. Además, las regiones delgadas representadas por contornos de una sola línea son difíciles de reconstruir (por ejemplo, las extremidades delgadas de una figura de palitos) debido a sus delicadas estructuras. Para abordar estos problemas, proponemos un sistema novedoso, DrawingSpinUp, para producir animaciones en 3D plausibles y dar vida a los dibujos de personajes, permitiéndoles girar libremente, saltar e incluso realizar un baile de hip-hop. Para mejorar la apariencia, adoptamos una estrategia de eliminación y posterior restauración para primero eliminar las líneas de contorno dependientes de la vista y luego renderizarlas nuevamente después de redirigir al personaje reconstruido. Para el perfeccionamiento de la geometría, desarrollamos un algoritmo de deformación de adelgazamiento basado en esqueletos para refinar las estructuras delgadas representadas por los contornos de una sola línea. Las evaluaciones experimentales y un estudio de usuario perceptual muestran que nuestro método propuesto supera a los métodos de animación 2D y 3D existentes y genera animaciones en 3D de alta calidad a partir de un solo dibujo de personaje. Por favor, consulte nuestra página de proyecto (https://lordliang.github.io/DrawingSpinUp) para acceder al código y a las animaciones generadas.

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.