Toon3D: アニメーションを新たな視点で捉える

Toon3D: Seeing Cartoons from a New Perspective

May 16, 2024

著者: Ethan Weber, Riley Peterlinz, Rohan Mathur, Frederik Warburg, Alexei A. Efros, Angjoo Kanazawa

cs.AI

要旨

本研究では、幾何学的に一貫性のないシーンの基盤となる3D構造を復元します。私たちは、特に漫画やアニメの手描き画像に焦点を当てて分析を行います。多くの漫画は、3Dレンダリングエンジンを使用せずにアーティストによって制作されるため、シーンの新しい画像はすべて手描きで作成されます。手描き画像は、世界を忠実に表現しているものの、それは定性的な意味でのみであり、人間が物体やシーンの複数の視点を3D的に一貫して描くことは困難です。それにもかかわらず、人々は一貫性のない入力から容易に3Dシーンを認識することができます！本研究では、2D描画の不整合を修正し、新たにワープされた描画が互いに一貫性を持つような妥当な3D構造を復元します。私たちのパイプラインは、ユーザーフレンドリーな注釈ツール、カメラポーズ推定、および密な構造を復元するための画像変形で構成されています。私たちの手法は、画像を透視カメラモデルに従うようにワープし、整列された結果を新視点合成再構成手法に組み込むことで、これまで描かれたことのない視点から漫画を体験することを可能にします。プロジェクトページはhttps://toon3d.studio/です。

English

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio/.