Toon3D: 만화를 새로운 시각으로 보기

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

저자: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

초록

본 연구에서는 기하학적으로 일관되지 않은 장면의 기본 3D 구조를 복원합니다. 우리는 만화와 애니메이션에서 손으로 그린 이미지에 분석을 집중합니다. 많은 만화는 3D 렌더링 엔진 없이 아티스트에 의해 제작되며, 이는 장면의 새로운 이미지가 모두 손으로 그려진다는 것을 의미합니다. 손으로 그린 이미지는 일반적으로 세상을 충실히 표현하지만, 인간이 물체나 장면의 여러 관점을 3D로 일관되게 그리기는 어렵기 때문에 정성적인 의미에서만 그러합니다. 그럼에도 불구하고 사람들은 일관되지 않은 입력에서도 쉽게 3D 장면을 인지할 수 있습니다! 본 연구에서는 2D 드로잇의 불일치를 수정하여 새롭게 왜곡된 그림들이 서로 일관되도록 그럴듯한 3D 구조를 복원합니다. 우리의 파이프라인은 사용자 친화적인 주석 도구, 카메라 포즈 추정, 그리고 밀집 구조를 복원하기 위한 이미지 변형으로 구성됩니다. 우리의 방법은 이미지를 원근 카메라 모델에 따르도록 왜곡하여, 정렬된 결과를 새로운 시점 합성 재구성 방법에 적용하여 이전에 그려진 적 없는 시점에서 만화를 경험할 수 있게 합니다. 우리의 프로젝트 페이지는 https://toon3d.studio/입니다.

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.