GaussianDreamerPro: Texto a Gaussianas 3D Manipulables con Calidad Altamente Mejorada

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

Autores: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

Resumen

Recientemente, el splatting de Gaussianas 3D (3D-GS) ha logrado un gran éxito en la reconstrucción y renderizado de escenas del mundo real. Para transferir la alta calidad de renderizado a tareas de generación, una serie de trabajos de investigación han intentado generar activos de Gaussianas 3D a partir de texto. Sin embargo, los activos generados no han alcanzado la misma calidad que aquellos en tareas de reconstrucción. Observamos que las Gaussianas tienden a crecer sin control, ya que el proceso de generación puede causar indeterminación. Con el objetivo de mejorar significativamente la calidad de generación, proponemos un nuevo marco denominado GaussianDreamerPro. La idea principal es vincular las Gaussianas a una geometría razonable, que evoluciona a lo largo de todo el proceso de generación. En las diferentes etapas de nuestro marco, tanto la geometría como la apariencia pueden enriquecerse progresivamente. El activo final se construye con Gaussianas 3D vinculadas a una malla, lo que muestra detalles y calidad significativamente mejorados en comparación con métodos anteriores. Cabe destacar que el activo generado también puede integrarse sin problemas en flujos de trabajo de manipulación posteriores, como animación, composición y simulación, entre otros, lo que promueve enormemente su potencial en una amplia gama de aplicaciones. Las demostraciones están disponibles en https://taoranyi.com/gaussiandreamerpro/.

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.