Toon3D : Voir les dessins animés sous un nouvel angle

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

Auteurs: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

Résumé

Dans ce travail, nous reconstruisons la structure 3D sous-jacente de scènes non géométriquement cohérentes. Nous concentrons notre analyse sur des images dessinées à la main provenant de dessins animés et d'anime. De nombreux dessins animés sont créés par des artistes sans moteur de rendu 3D, ce qui signifie que chaque nouvelle image d'une scène est dessinée à la main. Ces images dessinées à la main sont généralement des représentations fidèles du monde, mais uniquement dans un sens qualitatif, car il est difficile pour les humains de dessiner plusieurs perspectives d'un objet ou d'une scène de manière cohérente en 3D. Néanmoins, les gens peuvent facilement percevoir des scènes 3D à partir d'entrées incohérentes ! Dans ce travail, nous corrigeons les incohérences des dessins 2D pour reconstruire une structure 3D plausible, de sorte que les dessins déformés soient cohérents entre eux. Notre pipeline comprend un outil d'annotation convivial, une estimation de la pose de la caméra et une déformation d'image pour reconstruire une structure dense. Notre méthode déforme les images pour qu'elles respectent un modèle de caméra en perspective, permettant à nos résultats alignés d'être intégrés dans des méthodes de reconstruction de synthèse de nouvelles vues, afin de découvrir les dessins animés sous des angles jamais dessinés auparavant. Notre page de projet est https://toon3d.studio/.

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.