AToM: Geração Amortizada de Texto para Malha utilizando Difusão 2D

AToM: Amortized Text-to-Mesh using 2D Diffusion

February 1, 2024

Autores: Guocheng Qian, Junli Cao, Aliaksandr Siarohin, Yash Kant, Chaoyang Wang, Michael Vasilkovsky, Hsin-Ying Lee, Yuwei Fang, Ivan Skorokhodov, Peiye Zhuang, Igor Gilitschenski, Jian Ren, Bernard Ghanem, Kfir Aberman, Sergey Tulyakov

cs.AI

Resumo

Apresentamos o Amortized Text-to-Mesh (AToM), um framework de texto-para-malha de propagação direta otimizado para múltiplos prompts de texto simultaneamente. Em contraste com os métodos existentes de texto-para-3D, que frequentemente envolvem uma otimização demorada por prompt e geralmente produzem representações diferentes de malhas poligonais, o AToM gera diretamente malhas texturizadas de alta qualidade em menos de 1 segundo, com uma redução de cerca de 10 vezes no custo de treinamento, e generaliza para prompts não vistos. Nossa ideia central é uma nova arquitetura de texto-para-malha baseada em triplanos com uma estratégia de otimização amortizada em dois estágios que garante treinamento estável e permite escalabilidade. Por meio de extensos experimentos em vários benchmarks de prompts, o AToM supera significativamente as abordagens amortizadas state-of-the-art com uma precisão mais de 4 vezes maior (no conjunto de dados DF415) e produz saídas 3D mais distinguíveis e de maior qualidade. O AToM demonstra forte generalizabilidade, oferecendo ativos 3D de granularidade fina para prompts interpolados não vistos sem a necessidade de otimização adicional durante a inferência, ao contrário de soluções por prompt.

English

We introduce Amortized Text-to-Mesh (AToM), a feed-forward text-to-mesh framework optimized across multiple text prompts simultaneously. In contrast to existing text-to-3D methods that often entail time-consuming per-prompt optimization and commonly output representations other than polygonal meshes, AToM directly generates high-quality textured meshes in less than 1 second with around 10 times reduction in the training cost, and generalizes to unseen prompts. Our key idea is a novel triplane-based text-to-mesh architecture with a two-stage amortized optimization strategy that ensures stable training and enables scalability. Through extensive experiments on various prompt benchmarks, AToM significantly outperforms state-of-the-art amortized approaches with over 4 times higher accuracy (in DF415 dataset) and produces more distinguishable and higher-quality 3D outputs. AToM demonstrates strong generalizability, offering finegrained 3D assets for unseen interpolated prompts without further optimization during inference, unlike per-prompt solutions.