Toon3D: Cartoons vanuit een nieuw perspectief bekijken

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

Auteurs: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

Samenvatting

In dit werk herstellen we de onderliggende 3D-structuur van niet-geometrisch consistente scènes. We richten onze analyse op handgetekende afbeeldingen uit tekenfilms en anime. Veel tekenfilms worden door kunstenaars gemaakt zonder een 3D-renderingengine, wat betekent dat elke nieuwe afbeelding van een scène handmatig wordt getekend. De handgetekende afbeeldingen zijn meestal getrouwe weergaven van de wereld, maar alleen in kwalitatieve zin, omdat het voor mensen moeilijk is om meerdere perspectieven van een object of scène 3D-consistent te tekenen. Desalniettemin kunnen mensen gemakkelijk 3D-scènes waarnemen uit inconsistente invoer! In dit werk corrigeren we 2D-tekeninconsistenties om een plausibele 3D-structuur te herstellen, zodat de nieuw vervormde tekeningen consistent met elkaar zijn. Onze pijplijn bestaat uit een gebruiksvriendelijk annotatietool, camerapose-schatting en beeldvervorming om een dichte structuur te herstellen. Onze methode vervormt afbeeldingen om een perspectiefcameramodel te volgen, waardoor onze uitgelijnde resultaten kunnen worden aangesloten op reconstructiemethoden voor nieuwe-weergave-synthese om tekenfilms te ervaren vanuit gezichtspunten die nooit eerder zijn getekend. Onze projectpagina is https://toon3d.studio/.

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.