3DTV: Una red de interpolación de avance para la síntesis de vistas en tiempo real
3DTV: A Feedforward Interpolation Network for Real-Time View Synthesis
April 13, 2026
Autores: Stefan Schulz, Fernando Edelstein, Hannah Dröge, Matthias B. Hullin, Markus Plack
cs.AI
Resumen
La renderización en tiempo real de puntos de vista libres requiere equilibrar la redundancia de múltiples cámaras con las restricciones de latencia de las aplicaciones interactivas. Abordamos este desafío combinando geometría ligera con aprendizaje automático y proponemos 3DTV, una red neuronal de propagación directa para la interpolación en tiempo real de vistas escasas. Una selección de tripletas basada en Delaunay garantiza la cobertura angular para cada vista objetivo. Sobre esta base, introducimos un módulo de profundidad consciente de la pose que estima una pirámide de profundidad de grueso a fino, permitiendo una reproyección eficiente de características y una fusión consciente de las oclusiones. A diferencia de los métodos que requieren optimización específica por escena, 3DTV funciona mediante propagación directa sin necesidad de reentrenamiento, haciéndolo práctico para realidad aumentada/realidad virtual, telepresencia y aplicaciones interactivas. Nuestros experimentos en conjuntos de datos de vídeo multicámara complejos demuestran que 3DTV logra consistentemente un sólido equilibrio entre calidad y eficiencia, superando a métodos recientes de referencia para vistas nuevas en tiempo real. Crucialmente, 3DTV evita proxies explícitos, permitiendo una renderización robusta en diversas escenas. Esto lo convierte en una solución práctica para transmisión multicámara de baja latencia y renderización interactiva.
Página del proyecto: https://stefanmschulz.github.io/3DTV_webpage/
English
Real-time free-viewpoint rendering requires balancing multi-camera redundancy with the latency constraints of interactive applications. We address this challenge by combining lightweight geometry with learning and propose 3DTV, a feedforward network for real-time sparse-view interpolation. A Delaunay-based triplet selection ensures angular coverage for each target view. Building on this, we introduce a pose-aware depth module that estimates a coarse-to-fine depth pyramid, enabling efficient feature reprojection and occlusion-aware blending. Unlike methods that require scene-specific optimization, 3DTV runs feedforward without retraining, making it practical for AR/VR, telepresence, and interactive applications. Our experiments on challenging multi-view video datasets demonstrate that 3DTV consistently achieves a strong balance of quality and efficiency, outperforming recent real-time novel-view baselines. Crucially, 3DTV avoids explicit proxies, enabling robust rendering across diverse scenes. This makes it a practical solution for low-latency multi-view streaming and interactive rendering.
Project Page: https://stefanmschulz.github.io/3DTV_webpage/