LLaMA-Mesh: Объединение генерации 3D-сеток с языковыми моделями

LLaMA-Mesh: Unifying 3D Mesh Generation with Language Models

November 14, 2024

Авторы: Zhengyi Wang, Jonathan Lorraine, Yikai Wang, Hang Su, Jun Zhu, Sanja Fidler, Xiaohui Zeng

cs.AI

Аннотация

Данная работа исследует расширение возможностей крупных языковых моделей (LLM), предварительно обученных на тексте, для генерации трехмерных сеток в рамках единой модели. Это предлагает ключевые преимущества в (1) использовании пространственных знаний, уже встроенных в LLM, полученных из текстовых источников, таких как трехмерные учебники, и (2) обеспечении разговорной генерации 3D и понимания сеток. Основным вызовом является эффективная токенизация данных трехмерных сеток на дискретные токены, которые LLM могут обрабатывать без проблем. Для решения этой проблемы мы представляем подход LLaMA-Mesh, который представляет координаты вершин и определения граней трехмерных сеток в виде обычного текста, позволяя прямую интеграцию с LLM без расширения словаря. Мы создаем набор данных для надзорного дообучения (SFT), позволяющий предварительно обученным LLM (1) генерировать трехмерные сетки по текстовым подсказкам, (2) производить чередующиеся текстовые и трехмерные выходы по мере необходимости и (3) понимать и интерпретировать трехмерные сетки. Наша работа первой демонстрирует, что LLM могут быть дообучены для приобретения сложных пространственных знаний для генерации трехмерных сеток в текстовом формате, эффективно объединяя трехмерные и текстовые модальности. LLaMA-Mesh достигает качества генерации сеток на уровне моделей, обученных с нуля, сохраняя при этом высокую производительность генерации текста.

English

This work explores expanding the capabilities of large language models (LLMs) pretrained on text to generate 3D meshes within a unified model. This offers key advantages of (1) leveraging spatial knowledge already embedded in LLMs, derived from textual sources like 3D tutorials, and (2) enabling conversational 3D generation and mesh understanding. A primary challenge is effectively tokenizing 3D mesh data into discrete tokens that LLMs can process seamlessly. To address this, we introduce LLaMA-Mesh, a novel approach that represents the vertex coordinates and face definitions of 3D meshes as plain text, allowing direct integration with LLMs without expanding the vocabulary. We construct a supervised fine-tuning (SFT) dataset enabling pretrained LLMs to (1) generate 3D meshes from text prompts, (2) produce interleaved text and 3D mesh outputs as required, and (3) understand and interpret 3D meshes. Our work is the first to demonstrate that LLMs can be fine-tuned to acquire complex spatial knowledge for 3D mesh generation in a text-based format, effectively unifying the 3D and text modalities. LLaMA-Mesh achieves mesh generation quality on par with models trained from scratch while maintaining strong text generation performance.