Tele-Aloha: 低コストかつ高精度なテレプレゼンスシステム - スパースRGBカメラを活用したアプローチ

Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras

May 23, 2024

著者: Hanzhang Tu, Ruizhi Shao, Xue Dong, Shunyuan Zheng, Hao Zhang, Lili Chen, Meili Wang, Wenyu Li, Siyan Ma, Shengping Zhang, Boyao Zhou, Yebin Liu

cs.AI

要旨

本論文では、低予算かつ高精度な双方向テレプレゼンスシステム「Tele-Aloha」を提案する。本システムは、ピアツーピア通信シナリオを対象としており、従来のシステムと比較して、わずか4台のスパースRGBカメラ、1台のコンシューマー向けGPU、および1台の自動立体ディスプレイを使用して、高解像度（2048x2048）、リアルタイム（30 fps）、低遅延（150ms未満）、かつ堅牢な遠隔通信を実現する。Tele-Alohaの中核として、上半身向けの効率的な新規視点合成アルゴリズムを提案する。まず、堅牢な幾何学的手がかりを得るために、カスケード型視差推定器を設計する。さらに、ガウススプラッティングを用いたニューラルラスタライザを導入し、潜在特徴をターゲットビューに投影し、低解像度にデコードする。加えて、高品質なキャプチャデータを活用し、重み付きブレンディングメカニズムを用いてデコードされた画像を2Kの最終解像度に精緻化する。世界最先端の自動立体ディスプレイと低遅延の虹彩追跡を活用することで、ユーザーはヘッドマウントディスプレイデバイスを装着することなく、強力な立体感を体験できる。全体として、本テレプレゼンスシステムは、実生活実験において共在感を実証し、次世代のコミュニケーションを鼓舞するものである。

English

In this paper, we present a low-budget and high-authenticity bidirectional telepresence system, Tele-Aloha, targeting peer-to-peer communication scenarios. Compared to previous systems, Tele-Aloha utilizes only four sparse RGB cameras, one consumer-grade GPU, and one autostereoscopic screen to achieve high-resolution (2048x2048), real-time (30 fps), low-latency (less than 150ms) and robust distant communication. As the core of Tele-Aloha, we propose an efficient novel view synthesis algorithm for upper-body. Firstly, we design a cascaded disparity estimator for obtaining a robust geometry cue. Additionally a neural rasterizer via Gaussian Splatting is introduced to project latent features onto target view and to decode them into a reduced resolution. Further, given the high-quality captured data, we leverage weighted blending mechanism to refine the decoded image into the final resolution of 2K. Exploiting world-leading autostereoscopic display and low-latency iris tracking, users are able to experience a strong three-dimensional sense even without any wearable head-mounted display device. Altogether, our telepresence system demonstrates the sense of co-presence in real-life experiments, inspiring the next generation of communication.