現実を反映する：拡散モデルが忠実なミラー反射を生成するようにする

Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections

September 23, 2024

著者: Ankit Dhiman, Manan Shah, Rishubh Parihar, Yash Bhalgat, Lokesh R Boregowda, R Venkatesh Babu

cs.AI

要旨

私たちは、拡散ベースの生成モデルを使用して、高度にリアルでありながら信憑性のあるミラー反射を生成する問題に取り組んでいます。この問題を画像修復のタスクとして定式化し、生成プロセス中にミラーの配置をよりユーザーが制御できるようにしています。これを実現するために、SynMirrorという多様な合成シーンの大規模データセットを作成しました。SynMirrorには、ミラーの前に配置されたオブジェクトを含む約198Kのサンプルが収録されており、66Kのユニークな3Dオブジェクトからレンダリングされています。また、シーンの関連する幾何学的特性を捉えるために、それらに関連する深度マップ、法線マップ、およびインスタンスごとのセグメンテーションマスクも含まれています。このデータセットを使用して、入力画像とミラー領域を示すマスクを与えられた場合に、高品質で幾何学的に整合性があり写真のようなミラー反射を生成する新しい深度条件付き修復手法であるMirrorFusionを提案します。SynMirrorにおいて、MirrorFusionは包括的な定量的および定性的分析によって証明されるように、最先端の手法を上回っています。私たちの知る限りでは、拡散ベースのモデルを使用してシーン内のオブジェクトの制御された忠実なミラー反射を生成する難しい問題に初めて成功したものです。SynMirrorとMirrorFusionは、実務家や研究者の両方にとって、画像編集や拡張現実のアプリケーションに新たな可能性を切り開いています。

English

We tackle the problem of generating highly realistic and plausible mirror reflections using diffusion-based generative models. We formulate this problem as an image inpainting task, allowing for more user control over the placement of mirrors during the generation process. To enable this, we create SynMirror, a large-scale dataset of diverse synthetic scenes with objects placed in front of mirrors. SynMirror contains around 198K samples rendered from 66K unique 3D objects, along with their associated depth maps, normal maps and instance-wise segmentation masks, to capture relevant geometric properties of the scene. Using this dataset, we propose a novel depth-conditioned inpainting method called MirrorFusion, which generates high-quality geometrically consistent and photo-realistic mirror reflections given an input image and a mask depicting the mirror region. MirrorFusion outperforms state-of-the-art methods on SynMirror, as demonstrated by extensive quantitative and qualitative analysis. To the best of our knowledge, we are the first to successfully tackle the challenging problem of generating controlled and faithful mirror reflections of an object in a scene using diffusion based models. SynMirror and MirrorFusion open up new avenues for image editing and augmented reality applications for practitioners and researchers alike.