UniSHARP: 범용 선명 단안 시점 합성

초록

본 연구에서는 기존의 사실적인 시점 합성 방법인 SHARP를 확장하여, 기존의 원근 카메라에서 광시야각, 어안 및 전방위 파노라마 설정에 이르는 다양한 카메라 시스템에 걸쳐 보편적인 단안 렌더링을 수행하는 데 초점을 맞춘다. SHARP의 핀홀 기반 가정을 극복하기 위한 핵심 아이디어는 다양한 이미지를 통합된 전방위 잠재 공간에 정렬하는 것이다. 이에 따라, 특징 공간과 가우시안 공간 모두에서 암시적 정렬을 수행하는 UniSHARP를 제안한다. 구체적으로, 가우시안 프리미티브는 광선 기반의 보편적 표현에서 광선과 반경 거리를 따라 배열되며, UniK3D에서 영감을 받은 인코더에서 추출된 2D 의미론적 특징과 3D 공간 특징을 공동으로 디코딩하여 완전한 가우시안 클라우드를 생성한다. 제안된 방법을 종합적으로 평가하기 위해, 다양한 장면에 걸친 여러 이미징 시스템을 포괄하는 벤치마크를 구축한다. 이 벤치마크는 시야각(FoV)에 따라 추가로 세분화되어 보편적 단안 렌더링 작업의 세밀한 평가를 가능하게 한다. 제안된 벤치마크에 대한 광범위한 실험을 통해 UniSHARP의 효과성을 입증하며, 다른 방법들에 비해 큰 폭으로 성능이 우수함을 보여준다. 프로젝트 페이지는 다음에서 확인할 수 있다: https://insta360-research-team.github.io/Unisharp-website/

English

In this work, we focus on extending SHARP, the popular photorealistic view synthesis method, for universal monocular rendering across a continuum of camera systems, from conventional perspective cameras to wide-field-of-view, fisheye and omnidirectional panoramic settings. To overcome the pinhole-specific assumptions of SHARP, our key idea is to align various images in a unified omnidirectional latent space. Thus, we propose UniSHARP, which performs implicit alignment in both feature and Gaussian spaces. Specifically, Gaussian primitives are arranged along rays and radial distances in a ray-based universal representation, while 2D semantic and 3D spatial features extracted from UniK3D-inspired encoders are jointly decoded to generate the complete Gaussian cloud. To comprehensively evaluate our method, we construct a benchmark covering diverse imaging systems across various scenes. The benchmark is further stratified by field of view (FoV) to enable fine-grained assessment of the universal monocular rendering task. Extensive experiments on the proposed benchmark demonstrate the effectiveness of UniSHARP, outperforming alternative methods by a large margin. The project page can be found at: https://insta360-research-team.github.io/Unisharp-website/