TaoAvatar: 3D 가우시안 스플래팅 기반 증강 현실을 위한 실시간 생생한 전신 대화형 아바타

TaoAvatar: Real-Time Lifelike Full-Body Talking Avatars for Augmented Reality via 3D Gaussian Splatting

March 21, 2025

저자: Jianchuan Chen, Jingchuan Hu, Gaige Wang, Zhonghua Jiang, Tiansong Zhou, Zhiwen Chen, Chengfei Lv

cs.AI

초록

현실적인 3D 전신 대화형 아바타는 AR 분야에서 큰 잠재력을 가지고 있으며, 전자상거래 라이브 스트리밍부터 홀로그래픽 커뮤니케이션까지 다양한 응용 분야가 가능합니다. 생생한 아바타 생성에 있어 3D Gaussian Splatting(3DGS)의 발전에도 불구하고, 기존 방법들은 전신 대화 작업에서 얼굴 표정과 신체 움직임의 세밀한 제어에 어려움을 겪고 있습니다. 또한, 충분한 디테일을 제공하지 못하며 모바일 기기에서 실시간으로 실행할 수 없는 경우가 많습니다. 우리는 다양한 신호로 구동되는 고해상도, 경량화된 3DGS 기반 전신 대화형 아바타인 TaoAvatar를 제안합니다. 우리의 접근 방식은 먼저 가우시안을 바인딩하여 외관을 표현하는 개인화된 의상 인체 파라메트릭 템플릿을 생성하는 것으로 시작합니다. 그런 다음, 복잡한 포즈 의존적 비강체 변형을 처리하기 위해 StyleUnet 기반 네트워크를 사전 학습시킵니다. 이 네트워크는 고주파 외관 디테일을 포착할 수 있지만 모바일 기기에서는 리소스가 너무 많이 소모됩니다. 이를 극복하기 위해, 우리는 증류 기법을 사용하여 비강체 변형을 경량화된 MLP 기반 네트워크로 "구워내고", 디테일을 보완하기 위해 블렌드 셰이프를 개발합니다. 광범위한 실험을 통해 TaoAvatar가 다양한 기기에서 실시간으로 실행되면서도 최신의 렌더링 품질을 달성하며, Apple Vision Pro와 같은 고해상도 스테레오 기기에서 90 FPS를 유지함을 보여줍니다.

English

Realistic 3D full-body talking avatars hold great potential in AR, with applications ranging from e-commerce live streaming to holographic communication. Despite advances in 3D Gaussian Splatting (3DGS) for lifelike avatar creation, existing methods struggle with fine-grained control of facial expressions and body movements in full-body talking tasks. Additionally, they often lack sufficient details and cannot run in real-time on mobile devices. We present TaoAvatar, a high-fidelity, lightweight, 3DGS-based full-body talking avatar driven by various signals. Our approach starts by creating a personalized clothed human parametric template that binds Gaussians to represent appearances. We then pre-train a StyleUnet-based network to handle complex pose-dependent non-rigid deformation, which can capture high-frequency appearance details but is too resource-intensive for mobile devices. To overcome this, we "bake" the non-rigid deformations into a lightweight MLP-based network using a distillation technique and develop blend shapes to compensate for details. Extensive experiments show that TaoAvatar achieves state-of-the-art rendering quality while running in real-time across various devices, maintaining 90 FPS on high-definition stereo devices such as the Apple Vision Pro.