AnySplat: Feed-forward 3D Gaussian Splatting vanuit Onbeperkte Weergaven

AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views

May 29, 2025

Auteurs: Lihan Jiang, Yucheng Mao, Linning Xu, Tao Lu, Kerui Ren, Yichen Jin, Xudong Xu, Mulin Yu, Jiangmiao Pang, Feng Zhao, Dahua Lin, Bo Dai

cs.AI

Samenvatting

We introduceren AnySplat, een feedforward-netwerk voor de synthese van nieuwe gezichtspunten uit ongecalibreerde beeldcollecties. In tegenstelling tot traditionele neurale renderingspijplijnen die bekende cameraposities en per-scène optimalisatie vereisen, of recente feedforward-methoden die bezwijken onder de rekenkundige last van dichte gezichtspunten, voorspelt ons model alles in één keer. Een enkele forward pass levert een set van 3D Gaussische primitieven op die zowel scènegeometrie als uiterlijk coderen, evenals de bijbehorende camera-intrinsieken en extrinsieken voor elke invoerafbeelding. Dit verenigde ontwerp schaalt moeiteloos naar casual vastgelegde, multi-view datasets zonder enige pose-annotaties. In uitgebreide zero-shot evaluaties evenaart AnySplat de kwaliteit van pose-bewuste baseline-methoden in zowel schaarse als dichte gezichtspuntscenario's, terwijl het bestaande pose-vrije benaderingen overtreft. Bovendien vermindert het de renderlatentie aanzienlijk in vergelijking met optimalisatie-gebaseerde neurale velden, waardoor real-time synthese van nieuwe gezichtspunten binnen handbereik komt voor onbeperkte vastleggingsomstandigheden. Projectpagina: https://city-super.github.io/anysplat/

English

We introduce AnySplat, a feed forward network for novel view synthesis from uncalibrated image collections. In contrast to traditional neural rendering pipelines that demand known camera poses and per scene optimization, or recent feed forward methods that buckle under the computational weight of dense views, our model predicts everything in one shot. A single forward pass yields a set of 3D Gaussian primitives encoding both scene geometry and appearance, and the corresponding camera intrinsics and extrinsics for each input image. This unified design scales effortlessly to casually captured, multi view datasets without any pose annotations. In extensive zero shot evaluations, AnySplat matches the quality of pose aware baselines in both sparse and dense view scenarios while surpassing existing pose free approaches. Moreover, it greatly reduce rendering latency compared to optimization based neural fields, bringing real time novel view synthesis within reach for unconstrained capture settings.Project page: https://city-super.github.io/anysplat/