TekeningSpinUp: 3D-animatie van enkele karaktertekeningen

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

Auteurs: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

Samenvatting

Het animeren van verschillende karaktertekeningen is een boeiende taak voor het creëren van visuele inhoud. Gegeven een enkele karaktertekening, zijn bestaande animatiemethoden beperkt tot platte 2D-bewegingen en missen daardoor 3D-effecten. Een alternatieve oplossing is om een 3D-model te reconstrueren vanuit een karaktertekening als een proxy en vervolgens 3D-bewegingsgegevens erop te richten. Echter, de bestaande beeld-naar-3D methoden werken niet goed voor amateur karaktertekeningen wat betreft uiterlijk en geometrie. We merken op dat de contourlijnen, die vaak voorkomen in karaktertekeningen, aanzienlijke ambiguïteit zouden introduceren in textuursynthese vanwege hun afhankelijkheid van het zicht. Bovendien zijn dunne gebieden die worden vertegenwoordigd door enkelvoudige contourlijnen moeilijk te reconstrueren (bijv. slanke ledematen van een stokfiguur) vanwege hun delicate structuren. Om deze problemen aan te pakken, stellen we een nieuw systeem voor, DrawingSpinUp, om geloofwaardige 3D-animaties te produceren en leven in karaktertekeningen te blazen, waardoor ze vrij kunnen opstarten, springen en zelfs een hip-hop dans kunnen uitvoeren. Voor verbetering van het uiterlijk hanteren we een strategie van verwijderen en vervolgens herstellen om eerst de zichtafhankelijke contourlijnen te verwijderen en ze vervolgens terug te renderen na het richten van het gereconstrueerde karakter. Voor verfijning van de geometrie ontwikkelen we een op skelet gebaseerd verdunningsvervormingsalgoritme om de slanke structuren die worden vertegenwoordigd door de enkelvoudige contourlijnen te verfijnen. De experimentele evaluaties en een perceptuele gebruikersstudie tonen aan dat onze voorgestelde methode beter presteert dan de bestaande 2D- en 3D-animatiemethoden en hoogwaardige 3D-animaties genereert vanuit een enkele karaktertekening. Raadpleeg alstublieft onze projectpagina (https://lordliang.github.io/DrawingSpinUp) voor de code en gegenereerde animaties.

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.