TripoSR: Schnelle 3D-Objektrekonstruktion aus einem einzelnen Bild

TripoSR: Fast 3D Object Reconstruction from a Single Image

March 4, 2024

Autoren: Dmitry Tochilkin, David Pankratz, Zexiang Liu, Zixuan Huang, Adam Letts, Yangguang Li, Ding Liang, Christian Laforte, Varun Jampani, Yan-Pei Cao

cs.AI

Zusammenfassung

Dieser technische Bericht stellt TripoSR vor, ein 3D-Rekonstruktionsmodell, das die Transformer-Architektur für schnelle, vorwärtsgerichtete 3D-Generierung nutzt und aus einem einzelnen Bild in weniger als 0,5 Sekunden ein 3D-Mesh erzeugt. Basierend auf der LRM-Netzwerkarchitektur integriert TripoSR erhebliche Verbesserungen in der Datenverarbeitung, Modellgestaltung und Trainingsmethoden. Evaluierungen auf öffentlichen Datensätzen zeigen, dass TripoSR sowohl quantitativ als auch qualitativ eine überlegene Leistung im Vergleich zu anderen Open-Source-Alternativen aufweist. Unter der MIT-Lizenz veröffentlicht, soll TripoSR Forscher, Entwickler und Kreative mit den neuesten Fortschritten in der generativen 3D-KI ausstatten.

English

This technical report introduces TripoSR, a 3D reconstruction model leveraging transformer architecture for fast feed-forward 3D generation, producing 3D mesh from a single image in under 0.5 seconds. Building upon the LRM network architecture, TripoSR integrates substantial improvements in data processing, model design, and training techniques. Evaluations on public datasets show that TripoSR exhibits superior performance, both quantitatively and qualitatively, compared to other open-source alternatives. Released under the MIT license, TripoSR is intended to empower researchers, developers, and creatives with the latest advancements in 3D generative AI.