AToM: Geamortiseerde Tekst-naar-Mesh met behulp van 2D Diffusie

AToM: Amortized Text-to-Mesh using 2D Diffusion

February 1, 2024

Auteurs: Guocheng Qian, Junli Cao, Aliaksandr Siarohin, Yash Kant, Chaoyang Wang, Michael Vasilkovsky, Hsin-Ying Lee, Yuwei Fang, Ivan Skorokhodov, Peiye Zhuang, Igor Gilitschenski, Jian Ren, Bernard Ghanem, Kfir Aberman, Sergey Tulyakov

cs.AI

Samenvatting

We introduceren Amortized Text-to-Mesh (AToM), een feed-forward text-to-mesh framework dat is geoptimaliseerd voor meerdere tekstprompts tegelijk. In tegenstelling tot bestaande text-to-3D-methoden die vaak tijdrovende optimalisatie per prompt vereisen en meestal representaties anders dan polygonale meshes opleveren, genereert AToM direct hoogwaardige textuurmeshes in minder dan 1 seconde met een reductie van ongeveer 10 keer in de trainingskosten, en generaliseert het naar onbekende prompts. Onze kernidee is een nieuwe triplane-gebaseerde text-to-mesh-architectuur met een tweefasen amortized optimalisatiestrategie die een stabiele training garandeert en schaalbaarheid mogelijk maakt. Door uitgebreide experimenten op diverse promptbenchmarks presteert AToM aanzienlijk beter dan state-of-the-art amortized benaderingen met meer dan 4 keer hogere nauwkeurigheid (in de DF415-dataset) en produceert het meer onderscheidbare en hogere kwaliteit 3D-outputs. AToM toont sterke generaliseerbaarheid en biedt fijnmazige 3D-assets voor onbekende geïnterpoleerde prompts zonder verdere optimalisatie tijdens inferentie, in tegenstelling tot per-prompt oplossingen.

English

We introduce Amortized Text-to-Mesh (AToM), a feed-forward text-to-mesh framework optimized across multiple text prompts simultaneously. In contrast to existing text-to-3D methods that often entail time-consuming per-prompt optimization and commonly output representations other than polygonal meshes, AToM directly generates high-quality textured meshes in less than 1 second with around 10 times reduction in the training cost, and generalizes to unseen prompts. Our key idea is a novel triplane-based text-to-mesh architecture with a two-stage amortized optimization strategy that ensures stable training and enables scalability. Through extensive experiments on various prompt benchmarks, AToM significantly outperforms state-of-the-art amortized approaches with over 4 times higher accuracy (in DF415 dataset) and produces more distinguishable and higher-quality 3D outputs. AToM demonstrates strong generalizability, offering finegrained 3D assets for unseen interpolated prompts without further optimization during inference, unlike per-prompt solutions.