Toon3D: Взгляд на мультфильмы с новой перспективы

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

Авторы: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

Аннотация

В данной работе мы восстанавливаем основную 3D структуру не-геометрически согласованных сцен. Мы фокусируемся на анализе рукописных изображений из мультфильмов и аниме. Многие мультфильмы создаются художниками без использования 3D движка, что означает, что любое новое изображение сцены создается вручную. Рукописные изображения обычно верно передают мир, но лишь качественно, поскольку людям сложно нарисовать несколько перспектив объекта или сцены 3D последовательно. Тем не менее, люди легко могут воспринимать 3D сцены из несогласованных исходных данных! В данной работе мы исправляем 2D рисунковые несоответствия для восстановления правдоподобной 3D структуры таким образом, чтобы новые искаженные рисунки были согласованы между собой. Наша методика включает в себя удобное для пользователя аннотационное средство, оценку положения камеры и деформацию изображения для восстановления плотной структуры. Наш метод искривляет изображения, чтобы они соответствовали перспективной камерной модели, что позволяет использовать наши выровненные результаты в методах реконструкции нового вида для переживания мультфильмов с точек зрения, которые никогда ранее не были нарисованы. Наша страница проекта: https://toon3d.studio/.

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.