Toon3D: Vendo Desenhos Animados de uma Nova Perspectiva

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

Autores: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

Resumo

Neste trabalho, recuperamos a estrutura 3D subjacente de cenas que não são geometricamente consistentes. Nosso foco de análise está em imagens desenhadas à mão de desenhos animados e animes. Muitos desenhos animados são criados por artistas sem o uso de um motor de renderização 3D, o que significa que cada nova imagem de uma cena é desenhada manualmente. Essas imagens desenhadas à mão geralmente são representações fiéis do mundo, mas apenas em um sentido qualitativo, já que é difícil para os humanos desenhar múltiplas perspectivas de um objeto ou cena de forma consistentemente 3D. No entanto, as pessoas conseguem perceber facilmente cenas 3D a partir de entradas inconsistentes! Neste trabalho, corrigimos inconsistências de desenhos 2D para recuperar uma estrutura 3D plausível, de modo que os desenhos deformados sejam consistentes entre si. Nossa pipeline consiste em uma ferramenta de anotação amigável ao usuário, estimativa de pose da câmera e deformação de imagem para recuperar uma estrutura densa. Nosso método deforma as imagens para obedecer a um modelo de câmera em perspectiva, permitindo que nossos resultados alinhados sejam integrados em métodos de reconstrução de síntese de novas visões, possibilitando a experiência de desenhos animados a partir de pontos de vista nunca antes desenhados. Nossa página do projeto está disponível em https://toon3d.studio/.

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.