Toon3D: Vedere i cartoni animati da una nuova prospettiva

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

Autori: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

Abstract

In questo lavoro, recuperiamo la struttura 3D sottostante di scene non geometricamente consistenti. Concentriamo la nostra analisi su immagini disegnate a mano tratte da cartoni animati e anime. Molti cartoni animati sono creati da artisti senza l'uso di un motore di rendering 3D, il che significa che ogni nuova immagine di una scena viene disegnata a mano. Le immagini disegnate a mano sono generalmente rappresentazioni fedeli del mondo, ma solo in senso qualitativo, poiché è difficile per gli esseri umani disegnare più prospettive di un oggetto o di una scena in modo 3D coerente. Tuttavia, le persone possono percepire facilmente scene 3D da input inconsistenti! In questo lavoro, correggiamo le incoerenze dei disegni 2D per recuperare una struttura 3D plausibile, in modo che i disegni deformati siano coerenti tra loro. La nostra pipeline consiste in uno strumento di annotazione user-friendly, stima della posa della telecamera e deformazione dell'immagine per recuperare una struttura densa. Il nostro metodo deforma le immagini per rispettare un modello di telecamera prospettica, consentendo ai nostri risultati allineati di essere integrati in metodi di ricostruzione per la sintesi di nuove visualizzazioni, permettendo di sperimentare i cartoni animati da punti di vista mai disegnati prima. La nostra pagina del progetto è https://toon3d.studio/.

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.