AnySplat：制約のない視点からのフィードフォワード3Dガウススプラッティング

要旨

私たちは、未校正の画像コレクションから新規視点合成を行うためのフィードフォワードネットワークであるAnySplatを紹介します。従来のニューラルレンダリングパイプラインが既知のカメラポーズとシーンごとの最適化を要求するのに対し、また最近のフィードフォワード手法が密集したビューの計算負荷に耐えられないのに対し、私たちのモデルはすべてを一発で予測します。単一のフォワードパスで、シーンの幾何学と外観をエンコードする3Dガウシアンプリミティブのセット、および各入力画像に対応するカメラの内部パラメータと外部パラメータを生成します。この統一された設計により、ポーズアノテーションなしでカジュアルにキャプチャされたマルチビューデータセットに容易にスケールします。広範なゼロショット評価において、AnySplatは疎密両方のビューシナリオでポーズを意識したベースラインの品質に匹敵し、既存のポーズフリーアプローチを凌駕します。さらに、最適化ベースのニューラルフィールドと比較してレンダリングの遅延を大幅に削減し、制約のないキャプチャ設定においてリアルタイムの新規視点合成を実現します。プロジェクトページ: https://city-super.github.io/anysplat/

English

We introduce AnySplat, a feed forward network for novel view synthesis from uncalibrated image collections. In contrast to traditional neural rendering pipelines that demand known camera poses and per scene optimization, or recent feed forward methods that buckle under the computational weight of dense views, our model predicts everything in one shot. A single forward pass yields a set of 3D Gaussian primitives encoding both scene geometry and appearance, and the corresponding camera intrinsics and extrinsics for each input image. This unified design scales effortlessly to casually captured, multi view datasets without any pose annotations. In extensive zero shot evaluations, AnySplat matches the quality of pose aware baselines in both sparse and dense view scenarios while surpassing existing pose free approaches. Moreover, it greatly reduce rendering latency compared to optimization based neural fields, bringing real time novel view synthesis within reach for unconstrained capture settings.Project page: https://city-super.github.io/anysplat/

AnySplat：制約のない視点からのフィードフォワード3Dガウススプラッティング

AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views

要旨

Support