Tele-Aloha: 희소 RGB 카메라를 활용한 저예산 고실감 텔레프레즌스 시스템

Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras

May 23, 2024

저자: Hanzhang Tu, Ruizhi Shao, Xue Dong, Shunyuan Zheng, Hao Zhang, Lili Chen, Meili Wang, Wenyu Li, Siyan Ma, Shengping Zhang, Boyao Zhou, Yebin Liu

cs.AI

초록

본 논문에서는 피어-투-피어 통신 시나리오를 대상으로 저예산 및 높은 현실감을 갖춘 양방향 텔레프레즌스 시스템인 Tele-Aloha를 소개한다. 기존 시스템과 비교하여, Tele-Aloha는 단 4개의 희소 RGB 카메라, 하나의 소비자용 GPU, 그리고 하나의 오토스테레오스코픽 스크린만을 사용하여 고해상도(2048x2048), 실시간(30 fps), 저지연(150ms 미만), 그리고 견고한 원격 통신을 달성한다. Tele-Aloha의 핵심으로, 상반신을 위한 효율적인 새로운 뷰 합성 알고리즘을 제안한다. 먼저, 견고한 기하학적 단서를 얻기 위해 캐스케이드 방식의 디스패리티 추정기를 설계한다. 추가적으로, 가우시안 스플래팅을 통한 신경망 래스터라이저를 도입하여 잠재 특징을 타겟 뷰에 투영하고 이를 감소된 해상도로 디코딩한다. 또한, 고품질로 캡처된 데이터를 활용하여 가중치 블렌딩 메커니즘을 통해 디코딩된 이미지를 2K의 최종 해상도로 정제한다. 세계 최고 수준의 오토스테레오스코픽 디스플레이와 저지연 아이리스 추적 기술을 활용함으로써, 사용자는 웨어러블 헤드 마운트 디스플레이 장치 없이도 강력한 3차원 감각을 경험할 수 있다. 종합적으로, 우리의 텔레프레즌스 시스템은 실제 실험에서 공동 현존감을 입증하며, 차세대 통신 기술에 영감을 제공한다.

English

In this paper, we present a low-budget and high-authenticity bidirectional telepresence system, Tele-Aloha, targeting peer-to-peer communication scenarios. Compared to previous systems, Tele-Aloha utilizes only four sparse RGB cameras, one consumer-grade GPU, and one autostereoscopic screen to achieve high-resolution (2048x2048), real-time (30 fps), low-latency (less than 150ms) and robust distant communication. As the core of Tele-Aloha, we propose an efficient novel view synthesis algorithm for upper-body. Firstly, we design a cascaded disparity estimator for obtaining a robust geometry cue. Additionally a neural rasterizer via Gaussian Splatting is introduced to project latent features onto target view and to decode them into a reduced resolution. Further, given the high-quality captured data, we leverage weighted blending mechanism to refine the decoded image into the final resolution of 2K. Exploiting world-leading autostereoscopic display and low-latency iris tracking, users are able to experience a strong three-dimensional sense even without any wearable head-mounted display device. Altogether, our telepresence system demonstrates the sense of co-presence in real-life experiments, inspiring the next generation of communication.