Toon3D: Cartoons aus einer neuen Perspektive betrachten

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

Autoren: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

Zusammenfassung

In dieser Arbeit stellen wir die zugrunde liegende 3D-Struktur von nicht geometrisch konsistenten Szenen wieder her. Wir konzentrieren uns auf handgezeichnete Bilder aus Cartoons und Anime. Viele Cartoons werden von Künstlern ohne 3D-Rendering-Engine erstellt, was bedeutet, dass jedes neue Bild einer Szene von Hand gezeichnet wird. Die handgezeichneten Bilder sind in der Regel treue Darstellungen der Welt, aber nur in einem qualitativen Sinne, da es für Menschen schwierig ist, mehrere Perspektiven eines Objekts oder einer Szene 3D-konsistent zu zeichnen. Dennoch können Menschen 3D-Szenen leicht aus inkonsistenten Eingaben wahrnehmen! In dieser Arbeit korrigieren wir 2D-Zeicheninkonsistenzen, um eine plausible 3D-Struktur wiederherzustellen, sodass die neu verformten Zeichnungen miteinander konsistent sind. Unser Prozess umfasst ein benutzerfreundliches Annotierungstool, die Schätzung der Kameraposition und die Bildverformung zur Wiederherstellung einer dichten Struktur. Unsere Methode verformt Bilder gemäß einem perspektivischen Kameramodell, sodass unsere ausgerichteten Ergebnisse in neuartige Synthese-Rekonstruktionsmethoden eingebunden werden können, um Cartoons aus noch nie zuvor gezeichneten Blickwinkeln zu erleben. Unsere Projektseite ist https://toon3d.studio/.

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.