Erstellen von 3D-Animationen aus einzelnen Charakterzeichnungen

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

Autoren: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

Zusammenfassung

Das Animieren verschiedener Charakterzeichnungen ist eine fesselnde Aufgabe zur visuellen Inhaltserstellung. Bei einer einzelnen Charakterzeichnung sind bestehende Animationsmethoden auf flache 2D-Bewegungen beschränkt und daher ohne 3D-Effekte. Eine alternative Lösung besteht darin, ein 3D-Modell aus einer Charakterzeichnung als Platzhalter zu rekonstruieren und dann 3D-Bewegungsdaten darauf umzuleiten. Die bestehenden Bild-zu-3D-Methoden funktionieren jedoch nicht gut für Amateur-Charakterzeichnungen hinsichtlich Aussehen und Geometrie. Wir beobachten, dass die Konturlinien, die in Charakterzeichnungen üblicherweise vorhanden sind, aufgrund ihrer Ansichtsabhängigkeit eine erhebliche Unschärfe bei der Textursynthese verursachen würden. Darüber hinaus sind dünnere Regionen, die durch Einzellinienkonturen dargestellt werden (z. B. schlanke Gliedmaßen einer Strichfigur), aufgrund ihrer filigranen Strukturen schwer zu rekonstruieren. Um diese Probleme zu lösen, schlagen wir ein neuartiges System, DrawingSpinUp, vor, um glaubwürdige 3D-Animationen zu erstellen und Charakterzeichnungen zum Leben zu erwecken, sodass sie sich frei drehen, springen und sogar einen Hip-Hop-Tanz aufführen können. Zur Verbesserung des Aussehens verwenden wir eine Entfernungs-und-Wiederherstellungs-Strategie, um zuerst die ansichtsabhängigen Konturlinien zu entfernen und sie dann nach der Umleitung des rekonstruierten Charakters wieder zu rendern. Für die Geometrie-Verfeinerung entwickeln wir einen skelettgestützten Verdünnungsverformungsalgorithmus, um die schlanken Strukturen, die durch Einzellinienkonturen dargestellt werden, zu verfeinern. Die experimentellen Bewertungen und eine wahrnehmungsbasierte Benutzerstudie zeigen, dass unsere vorgeschlagene Methode die bestehenden 2D- und 3D-Animationsmethoden übertrifft und hochwertige 3D-Animationen aus einer einzelnen Charakterzeichnung generiert. Bitte besuchen Sie unsere Projektseite (https://lordliang.github.io/DrawingSpinUp) für den Code und die generierten Animationen.

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.