MetaView: 스케일 인지 암시적 기하학 사전 정보를 활용한 단안 새로운 시점 합성

초록

현재의 시각 생성 모델은 고품질 콘텐츠를 생성할 수 있지만, 공간 구조에 대한 일관된 인식이 부족하다. 기존의 생성적 신규 시점 합성 방법은 일반적으로 명시적 기하학 사전 정보를 도입하여 공간 일관성을 강화하지만, 큰 시점 변화에서는 본질적으로 일반화를 제한한다. 반면, 최근의 대화형 생성 방법은 암시적 장면 모델링을 선호하여 정밀한 카메라 제어와 기하학적 일관성을 희생하는 대신 더 큰 유연성을 제공한다. 본 논문에서는 단일 이미지로부터 큰 시점 변화 하에서 렌더링을 가능하게 하는 확산 기반 단안 신규 시점 합성 프레임워크인 MetaView를 제안한다. 우리의 핵심 통찰은 암시적 기하학 모델링과 최소한이지만 필수적인 명시적 3D 단서를 결합하는 것이다. 즉, 피드포워드 기하학 인식 네트워크로부터 암시적 기하학 사전 정보를 통합하여 제한적인 재구성 파이프라인을 부과하지 않고 구조를 정규화하는 동시에, 메트릭 깊이를 활용하여 생성을 메트릭 스케일로 고정한다. 이러한 설계를 통해 MetaView는 기하학적 일관성과 정밀한 제어 가능성을 모두 달성할 수 있다. 광범위한 실험을 통해, 도전적인 단안 대규모 시점 변화 하에서 MetaView가 기존 방법들을 크게 능가하며 우수한 일반화 성능을 보임을 입증한다. 우리의 코드는 https://github.com/KlingAIResearch/MetaView에서 공개적으로 이용 가능하다.

English

Current visual generation models are capable of producing high-quality content, yet they lack a coherent perception of the spatial structure. Existing generative novel view synthesis methods typically introduce explicit geometry priors, which enforce spatial consistency but inherently restrict generalization in large view changes. In contrast, recent interactive generative methods favor implicit scene modeling, offering greater flexibility at the cost of precise camera control and geometry consistency. In this paper, we propose MetaView, a diffusion-based monocular novel view synthesis framework that enables rendering under large view changes from a single image. Our key insight is to combine implicit geometry modeling with minimal yet essential explicit 3D cues: we incorporate implicit geometry priors from a feed-forward geometry perception network to regularize structure without imposing restrictive reconstruction pipelines, while leveraging metric depth to anchor the generation to a metric scale. This design allows MetaView to achieve both geometry consistency and precise controllability. Extensive experiments demonstrate that, under challenging monocular large viewpoint changes, MetaView significantly outperforms existing methods and exhibits superior generalization. Our code is publicly available at https://github.com/KlingAIResearch/MetaView.