UniSHARP: 汎用鮮明単眼ビュー合成

要旨

本研究では、広く利用されているフォトリアリスティックなビュー合成手法であるSHARPを拡張し、従来の透視カメラから広視野角、魚眼、全方位パノラマ設定に至るまで、多様なカメラシステムに対応したユニバーサル単眼レンダリングを実現することに焦点を当てています。SHARPのピンホールカメラに固有の仮定を克服するため、我々の鍵となるアイデアは、様々な画像を統一された全方位潜在空間で位置合わせすることです。そこで我々は、特徴空間とガウス空間の両方で暗黙的な位置合わせを行うUniSHARPを提案します。具体的には、ガウスプリミティブをレイベースのユニバーサル表現におけるレイと径方向の距離に沿って配置し、UniK3Dに着想を得たエンコーダから抽出された2次元セマンティック特徴と3次元空間特徴を統合的にデコードすることで、完全なガウスクラウドを生成します。本手法を包括的に評価するため、様々なシーンにおける多様な撮像システムを網羅したベンチマークを構築しました。さらに、このベンチマークは視野角（FoV）ごとに階層化され、ユニバーサル単眼レンダリングタスクの詳細な評価を可能にしています。提案ベンチマークを用いた大規模な実験により、UniSHARPの有効性が実証され、代替手法を大きく上回る性能を達成しました。プロジェクトページは以下をご参照ください：https://insta360-research-team.github.io/Unisharp-website/

English

In this work, we focus on extending SHARP, the popular photorealistic view synthesis method, for universal monocular rendering across a continuum of camera systems, from conventional perspective cameras to wide-field-of-view, fisheye and omnidirectional panoramic settings. To overcome the pinhole-specific assumptions of SHARP, our key idea is to align various images in a unified omnidirectional latent space. Thus, we propose UniSHARP, which performs implicit alignment in both feature and Gaussian spaces. Specifically, Gaussian primitives are arranged along rays and radial distances in a ray-based universal representation, while 2D semantic and 3D spatial features extracted from UniK3D-inspired encoders are jointly decoded to generate the complete Gaussian cloud. To comprehensively evaluate our method, we construct a benchmark covering diverse imaging systems across various scenes. The benchmark is further stratified by field of view (FoV) to enable fine-grained assessment of the universal monocular rendering task. Extensive experiments on the proposed benchmark demonstrate the effectiveness of UniSHARP, outperforming alternative methods by a large margin. The project page can be found at: https://insta360-research-team.github.io/Unisharp-website/