Мгновенный переводчик гауссовских лиц для воссоздания и взаимодействия с лицами.

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

Авторы: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

Аннотация

Мы предлагаем GauFace, новое представление Гауссовского сплетения, разработанное для эффективной анимации и рендеринга физически основанных лицевых ресурсов. Используя сильные геометрические априорные данные и ограниченную оптимизацию, GauFace обеспечивает аккуратное и структурированное гауссовское представление, обеспечивая высокую достоверность и интерактивность лица в реальном времени со скоростью 30 кадров в секунду при разрешении 1440p на мобильной платформе Snapdragon 8 Gen 2. Затем мы представляем TransGS, диффузионный трансформер, который мгновенно преобразует физически основанные лицевые ресурсы в соответствующие представления GauFace. В частности, мы используем конвейер на основе патчей для эффективной обработки огромного количества гауссиан. Мы также представляем новую схему выборки, выровненную по пикселям, с UV-кодированием позиции, чтобы обеспечить пропускную способность и качество рендеринга ресурсов GauFace, созданных нашим TransGS. После обучения TransGS может мгновенно преобразовывать лицевые ресурсы с условиями освещения в представление GauFace. С обширными модальностями условий, он также обеспечивает возможности редактирования и анимации, напоминающие традиционные конвейеры CG. Мы проводим обширные оценки и пользовательские исследования, сравнивая с традиционными офлайн и онлайн рендерерами, а также с недавними методами нейронного рендеринга, которые демонстрируют превосходную производительность нашего подхода к рендерингу лицевых ресурсов. Мы также демонстрируем разнообразные иммерсивные приложения лицевых ресурсов с использованием нашего подхода TransGS и представления GauFace на различных платформах, таких как ПК, телефоны и даже VR-очки.

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.