확산 안내 역 렌더링을 사용한 사실적 물체 삽입

Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering

August 19, 2024

저자: Ruofan Liang, Zan Gojcic, Merlin Nimier-David, David Acuna, Nandita Vijaykumar, Sanja Fidler, Zian Wang

cs.AI

초록

실제 세계 장면 이미지에 가상 객체를 올바르게 삽입하려면 장면의 조명, 기하 및 재질, 그리고 이미지 형성 과정에 대한 심층적인 이해가 필요합니다. 최근 대규모 확산 모델은 강력한 생성 및 보정 능력을 보여주었지만, 현재 모델은 단일 사진에 나타난 장면을 충분히 "이해"하지 못하여 일관된 조명 효과(그림자, 밝은 반사 등)를 생성하면서 합성된 객체의 신원과 세부 정보를 보존하지 못하는 것으로 판단됩니다. 우리는 물리 기반 역 렌더링 프로세스에 대한 개인화된 대규모 확산 모델을 안내로 사용하는 것을 제안합니다. 우리의 방법은 장면 조명 및 톤 매핑 매개변수를 복구하여 내부 또는 외부 장면의 단일 프레임 또는 비디오에 임의의 가상 객체를 사실적으로 합성할 수 있게 합니다. 물리 기반 파이프라인은 자동 재질 및 톤 매핑 세부 조정을 가능하게 합니다.

English

The correct insertion of virtual objects in images of real-world scenes requires a deep understanding of the scene's lighting, geometry and materials, as well as the image formation process. While recent large-scale diffusion models have shown strong generative and inpainting capabilities, we find that current models do not sufficiently "understand" the scene shown in a single picture to generate consistent lighting effects (shadows, bright reflections, etc.) while preserving the identity and details of the composited object. We propose using a personalized large diffusion model as guidance to a physically based inverse rendering process. Our method recovers scene lighting and tone-mapping parameters, allowing the photorealistic composition of arbitrary virtual objects in single frames or videos of indoor or outdoor scenes. Our physically based pipeline further enables automatic materials and tone-mapping refinement.