3DTV: 실시간 뷰 합성을 위한 피드포워드 보간 네트워크

초록

실시간 자유 시점 렌더링은 다중 카메라 중복성과 인터랙티브 애플리케이션의 지연 시간 제약 사이의 균형을 요구합니다. 우리는 경량 기하학과 학습을 결합하여 이 문제를 해결하고, 실시간 희소 시점 보간을 위한 순전파 네트워크인 3DTV를 제안합니다. 델로네 기반 삼중항 선택은 각 목표 시점에 대한 각도적 커버리지를 보장합니다. 이를 기반으로 우리는 coarse-to-fine 깊이 피라미드를 추정하여 효율적인 특징 재투영과 폐색 인식 블렌딩을 가능하게 하는 포즈 인식 깊이 모듈을 소개합니다. 장면 특화 최적화가 필요한 방법들과 달리, 3DTV는 재학습 없이 순전파 방식으로 실행되어 AR/VR, 원격 현장감, 인터랙티브 애플리케이션에 실용적입니다. 까다로운 다중 시점 비디오 데이터셋에 대한 실험은 3DTV가 품질과 효율성의 강력한 균형을 꾸준히 달성하며, 최근의 실시간 새로운 시점 기준선들을 능가함을 보여줍니다. 중요한 것은, 3DTV는 명시적 프록시를 피하여 다양한 장면에서 강건한 렌더링을 가능하게 합니다. 이는 저지연 다중 시점 스트리밍과 인터랙티브 렌더링을 위한 실용적인 해결책이 됩니다. 프로젝트 페이지: https://stefanmschulz.github.io/3DTV_webpage/

English

Real-time free-viewpoint rendering requires balancing multi-camera redundancy with the latency constraints of interactive applications. We address this challenge by combining lightweight geometry with learning and propose 3DTV, a feedforward network for real-time sparse-view interpolation. A Delaunay-based triplet selection ensures angular coverage for each target view. Building on this, we introduce a pose-aware depth module that estimates a coarse-to-fine depth pyramid, enabling efficient feature reprojection and occlusion-aware blending. Unlike methods that require scene-specific optimization, 3DTV runs feedforward without retraining, making it practical for AR/VR, telepresence, and interactive applications. Our experiments on challenging multi-view video datasets demonstrate that 3DTV consistently achieves a strong balance of quality and efficiency, outperforming recent real-time novel-view baselines. Crucially, 3DTV avoids explicit proxies, enabling robust rendering across diverse scenes. This makes it a practical solution for low-latency multi-view streaming and interactive rendering. Project Page: https://stefanmschulz.github.io/3DTV_webpage/

3DTV: 실시간 뷰 합성을 위한 피드포워드 보간 네트워크

3DTV: A Feedforward Interpolation Network for Real-Time View Synthesis

초록

Support