AnySplat: Feed-forward 3D-Gaußsplatting aus unbegrenzten Blickwinkeln

AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views

May 29, 2025

Autoren: Lihan Jiang, Yucheng Mao, Linning Xu, Tao Lu, Kerui Ren, Yichen Jin, Xudong Xu, Mulin Yu, Jiangmiao Pang, Feng Zhao, Dahua Lin, Bo Dai

cs.AI

Zusammenfassung

Wir stellen AnySplat vor, ein Feedforward-Netzwerk für die Synthese neuer Ansichten aus unkalibrierten Bildsammlungen. Im Gegensatz zu traditionellen Neuronalen Rendering-Pipelines, die bekannte Kameraposen und eine Optimierung pro Szene erfordern, oder zu neueren Feedforward-Methoden, die unter der Rechenlast dichter Ansichten scheitern, sagt unser Modell alles in einem Durchgang vorher. Ein einziger Vorwärtsdurchlauf liefert eine Menge von 3D-Gauß-Primitiven, die sowohl die Szenengeometrie als auch das Erscheinungsbild kodieren, sowie die entsprechenden Kameraintrinsiken und -extrinsiken für jedes Eingabebild. Dieses einheitliche Design skaliert mühelos auf beiläufig aufgenommene, multiview-Datensätze ohne jegliche Posierungsannotationen. In umfangreichen Zero-Shot-Evaluierungen erreicht AnySplat die Qualität von posierungsbewussten Baselines sowohl in spärlichen als auch in dichten Ansichtsszenarien und übertrifft dabei bestehende posierungsfreie Ansätze. Darüber hinaus reduziert es die Rendering-Latenz im Vergleich zu optimierungsbasierten neuronalen Feldern erheblich und bringt die Echtzeit-Synthese neuer Ansichten für ungezwungene Aufnahmeszenarien in greifbare Nähe. Projektseite: https://city-super.github.io/anysplat/

English

We introduce AnySplat, a feed forward network for novel view synthesis from uncalibrated image collections. In contrast to traditional neural rendering pipelines that demand known camera poses and per scene optimization, or recent feed forward methods that buckle under the computational weight of dense views, our model predicts everything in one shot. A single forward pass yields a set of 3D Gaussian primitives encoding both scene geometry and appearance, and the corresponding camera intrinsics and extrinsics for each input image. This unified design scales effortlessly to casually captured, multi view datasets without any pose annotations. In extensive zero shot evaluations, AnySplat matches the quality of pose aware baselines in both sparse and dense view scenarios while surpassing existing pose free approaches. Moreover, it greatly reduce rendering latency compared to optimization based neural fields, bringing real time novel view synthesis within reach for unconstrained capture settings.Project page: https://city-super.github.io/anysplat/