AnySplat: Splatting di Gaussiane 3D in modalità feed-forward da viste non vincolate

AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views

May 29, 2025

Autori: Lihan Jiang, Yucheng Mao, Linning Xu, Tao Lu, Kerui Ren, Yichen Jin, Xudong Xu, Mulin Yu, Jiangmiao Pang, Feng Zhao, Dahua Lin, Bo Dai

cs.AI

Abstract

Presentiamo AnySplat, una rete feed-forward per la sintesi di nuove viste da collezioni di immagini non calibrate. A differenza delle tradizionali pipeline di rendering neurale che richiedono pose della camera note e ottimizzazione per ogni scena, o dei recenti metodi feed-forward che cedono sotto il peso computazionale di viste dense, il nostro modello predice tutto in un solo passaggio. Un singolo passaggio in avanti produce un insieme di primitive gaussiane 3D che codificano sia la geometria che l'aspetto della scena, insieme ai parametri intrinseci ed estrinseci della camera per ogni immagine in ingresso. Questo design unificato si adatta senza sforzo a dataset multi-vista acquisiti casualmente, senza alcuna annotazione delle pose. In valutazioni zero-shot estese, AnySplat eguaglia la qualità dei baseline con pose note sia in scenari con viste sparse che dense, superando gli approcci esistenti privi di pose. Inoltre, riduce significativamente la latenza di rendering rispetto ai campi neurali basati su ottimizzazione, avvicinando la sintesi di nuove viste in tempo reale a contesti di acquisizione non vincolati. Pagina del progetto: https://city-super.github.io/anysplat/

English

We introduce AnySplat, a feed forward network for novel view synthesis from uncalibrated image collections. In contrast to traditional neural rendering pipelines that demand known camera poses and per scene optimization, or recent feed forward methods that buckle under the computational weight of dense views, our model predicts everything in one shot. A single forward pass yields a set of 3D Gaussian primitives encoding both scene geometry and appearance, and the corresponding camera intrinsics and extrinsics for each input image. This unified design scales effortlessly to casually captured, multi view datasets without any pose annotations. In extensive zero shot evaluations, AnySplat matches the quality of pose aware baselines in both sparse and dense view scenarios while surpassing existing pose free approaches. Moreover, it greatly reduce rendering latency compared to optimization based neural fields, bringing real time novel view synthesis within reach for unconstrained capture settings.Project page: https://city-super.github.io/anysplat/