AnySplat: Renderização Feed-forward de Splatting Gaussiano 3D a partir de Visões Não Restritas

AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views

May 29, 2025

Autores: Lihan Jiang, Yucheng Mao, Linning Xu, Tao Lu, Kerui Ren, Yichen Jin, Xudong Xu, Mulin Yu, Jiangmiao Pang, Feng Zhao, Dahua Lin, Bo Dai

cs.AI

Resumo

Apresentamos o AnySplat, uma rede feed forward para síntese de novas visões a partir de coleções de imagens não calibradas. Em contraste com os pipelines tradicionais de renderização neural que exigem poses de câmera conhecidas e otimização por cena, ou métodos feed forward recentes que sucumbem ao peso computacional de visões densas, nosso modelo prevê tudo em uma única passagem. Um único passo forward produz um conjunto de primitivas 3D Gaussianas que codificam tanto a geometria quanto a aparência da cena, além das intrínsecas e extrínsecas da câmera para cada imagem de entrada. Esse design unificado escala facilmente para conjuntos de dados multiview capturados casualmente, sem qualquer anotação de pose. Em extensas avaliações zero shot, o AnySplat iguala a qualidade de baselines que utilizam poses, tanto em cenários de visões esparsas quanto densas, enquanto supera as abordagens existentes que não utilizam poses. Além disso, ele reduz significativamente a latência de renderização em comparação com campos neurais baseados em otimização, trazendo a síntese de novas visões em tempo real ao alcance para configurações de captura sem restrições. Página do projeto: https://city-super.github.io/anysplat/

English

We introduce AnySplat, a feed forward network for novel view synthesis from uncalibrated image collections. In contrast to traditional neural rendering pipelines that demand known camera poses and per scene optimization, or recent feed forward methods that buckle under the computational weight of dense views, our model predicts everything in one shot. A single forward pass yields a set of 3D Gaussian primitives encoding both scene geometry and appearance, and the corresponding camera intrinsics and extrinsics for each input image. This unified design scales effortlessly to casually captured, multi view datasets without any pose annotations. In extensive zero shot evaluations, AnySplat matches the quality of pose aware baselines in both sparse and dense view scenarios while surpassing existing pose free approaches. Moreover, it greatly reduce rendering latency compared to optimization based neural fields, bringing real time novel view synthesis within reach for unconstrained capture settings.Project page: https://city-super.github.io/anysplat/