TripoSR: Reconstrução Rápida de Objetos 3D a Partir de uma Única Imagem
TripoSR: Fast 3D Object Reconstruction from a Single Image
March 4, 2024
Autores: Dmitry Tochilkin, David Pankratz, Zexiang Liu, Zixuan Huang, Adam Letts, Yangguang Li, Ding Liang, Christian Laforte, Varun Jampani, Yan-Pei Cao
cs.AI
Resumo
Este relatório técnico apresenta o TripoSR, um modelo de reconstrução 3D que utiliza arquitetura de transformadores para geração rápida de modelos 3D em tempo real, produzindo malhas 3D a partir de uma única imagem em menos de 0,5 segundos. Baseando-se na arquitetura da rede LRM, o TripoSR incorpora melhorias significativas no processamento de dados, no design do modelo e nas técnicas de treinamento. Avaliações em conjuntos de dados públicos demonstram que o TripoSR apresenta desempenho superior, tanto quantitativo quanto qualitativo, em comparação com outras alternativas de código aberto. Lançado sob a licença MIT, o TripoSR tem como objetivo capacitar pesquisadores, desenvolvedores e criativos com os mais recentes avanços em IA generativa 3D.
English
This technical report introduces TripoSR, a 3D reconstruction model
leveraging transformer architecture for fast feed-forward 3D generation,
producing 3D mesh from a single image in under 0.5 seconds. Building upon the
LRM network architecture, TripoSR integrates substantial improvements in data
processing, model design, and training techniques. Evaluations on public
datasets show that TripoSR exhibits superior performance, both quantitatively
and qualitatively, compared to other open-source alternatives. Released under
the MIT license, TripoSR is intended to empower researchers, developers, and
creatives with the latest advancements in 3D generative AI.