Toon3D: Viendo las caricaturas desde una nueva perspectiva

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

Autores: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

Resumen

En este trabajo, recuperamos la estructura 3D subyacente de escenas que no son geométricamente consistentes. Nos enfocamos en el análisis de imágenes dibujadas a mano de caricaturas y anime. Muchas caricaturas son creadas por artistas sin un motor de renderizado 3D, lo que significa que cada nueva imagen de una escena se dibuja manualmente. Las imágenes dibujadas a mano suelen ser representaciones fieles del mundo, pero solo en un sentido cualitativo, ya que es difícil para los humanos dibujar múltiples perspectivas de un objeto o escena de manera 3D consistente. Sin embargo, las personas pueden percibir fácilmente escenas 3D a partir de entradas inconsistentes. En este trabajo, corregimos las inconsistencias en los dibujos 2D para recuperar una estructura 3D plausible, de modo que los dibujos deformados sean consistentes entre sí. Nuestro proceso consta de una herramienta de anotación fácil de usar, estimación de la pose de la cámara y deformación de imágenes para recuperar una estructura densa. Nuestro método deforma las imágenes para que obedezcan un modelo de cámara en perspectiva, lo que permite que nuestros resultados alineados se integren en métodos de reconstrucción de síntesis de nuevas vistas para experimentar caricaturas desde ángulos nunca antes dibujados. Nuestra página del proyecto es https://toon3d.studio/.

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.