Создание анимации в 3D из отдельных рисунков персонажей

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

Авторы: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

Аннотация

Анимация различных персонажей – увлекательная задача создания визуального контента. При наличии одного рисунка персонажа существующие методы анимации ограничены плоскими движениями в 2D и, следовательно, лишены трехмерных эффектов. Альтернативным решением является восстановление трехмерной модели из рисунка персонажа в качестве прокси, а затем перенаправление трехмерных данных движения на нее. Однако существующие методы преобразования изображения в 3D неэффективны для любительских персонажных рисунков с точки зрения внешнего вида и геометрии. Мы отмечаем, что контурные линии, обычно присутствующие в персонажных рисунках, могут внести значительную неоднозначность в синтез текстуры из-за их зависимости от обзора. Кроме того, узкие области, представленные одиночными контурами, сложно восстановить (например, тонкие конечности палочного человечка) из-за их хрупкой структуры. Для решения этих проблем мы предлагаем новую систему, DrawingSpinUp, для создания правдоподобной 3D анимации и оживления персонажных рисунков, позволяя им свободно вращаться, прыгать и даже исполнять хип-хоп танец. Для улучшения внешнего вида мы применяем стратегию удаления-затем-восстановления для начального удаления зависимых от обзора контурных линий, а затем их повторного отображения после перенаправления восстановленного персонажа. Для улучшения геометрии мы разрабатываем алгоритм деформации на основе скелета для утончения тонких структур, представленных одиночными контурами. Экспериментальные оценки и восприятие пользователей показывают, что наш предложенный метод превосходит существующие методы анимации в 2D и 3D и генерирует качественные 3D анимации из одного персонажного рисунка. Пожалуйста, обратитесь к нашей странице проекта (https://lordliang.github.io/DrawingSpinUp) для доступа к коду и созданным анимациям.

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.