Meshy T2: 플로우 매칭을 통한 고속 네이티브 메시 생성

초록

다각형 메쉬는 현대 3D 파이프라인의 표준 표면 표현이며, 아티스트 스타일의 토폴로지를 갖춘 고품질 메쉬를 생성하는 것은 영화, 게임 및 인터랙티브 3D 애플리케이션에 필수적입니다. 주류 접근 방식은 메쉬를 토큰 시퀀스로 직렬화하고 이를 자기회귀적으로 디코딩하는데, 이는 추론 속도가 느리고 오류 누적에 민감하여 인터랙티브 에셋 제작에 비실용적입니다. 우리는 플로우 매칭 기반의 빠른 네이티브 메쉬 생성 프레임워크인 Meshy T2를 제시합니다. 그 핵심에는 정점 집합 메쉬 VAE가 있으며, 이는 메쉬를 정점당 하나의 연속 잠재 토큰으로 인코딩하고, 정점, 에지 연결성 및 면의 와인딩 순서를 단일 패스로 디코딩하여 정점 양자화나 병합 없이 고정밀 지오메트리와 아티스트가 작성한 토폴로지를 보존합니다. 생성 과정은 두 개의 플로우 매칭 모델로 구성된 조대-정밀 캐스케이드로 진행됩니다. 먼저 이미지 조건부 복셀 플로우가 전체 형상을 조대한 점유 스캐폴드로 스케치하고, 그다음 메쉬 플로우가 이미지, 스캐폴드 및 요청된 정점 예산에 조건화하여 스캐폴드를 정점별 잠재 토큰으로 채웁니다. 이 설계는 세 가지 실용적 기능을 제공합니다. 병렬 플로우 기반 합성을 통한 인터랙티브 생성 속도, 요청된 정점 예산을 통한 효과적인 면 수 제어, 그리고 생성된 연결성에서 구성 요소가 직접 나타나는 다중 부품 에셋에 대한 네이티브 지원입니다. 실험에서 Meshy T2는 최첨단 기하학적 충실도를 달성하고 중앙값 6초 이내에 엔드투엔드 이미지-메쉬 생성을 완료하며, 자기회귀 베이스라인보다 한 자릿수 이상 빠릅니다. 코드와 가중치는 https://github.com/meshy-dev/meshy-t2에서 제공될 예정입니다.

English

Polygonal meshes are the standard surface representation of modern 3D pipelines, and generating high-quality meshes with artist-style topology is essential for film, gaming, and interactive 3D applications. Mainstream approaches serialize a mesh into a token sequence and decode it autoregressively, which is slow at inference and sensitive to error accumulation, making them impractical for interactive asset creation. We present Meshy T2, a fast native mesh generation framework built on flow matching. At its core is a vertex-set mesh VAE that encodes a mesh into one continuous latent token per vertex and decodes vertices, edge connectivity, and face winding order in a single pass, preserving high-precision geometry and artist-authored topology without vertex quantization or welding. Generation proceeds as a coarse-to-fine cascade of two flow-matching models: an image-conditioned voxel flow first sketches the overall shape as a coarse occupancy scaffold, and a mesh flow then populates the scaffold with per-vertex latent tokens, conditioned on the image, the scaffold, and a requested vertex budget. This design delivers three practical capabilities: interactive generation speed through parallel flow-based synthesis; effective face-count control through the requested vertex budget; and native support for multi-part assets, whose components emerge directly from the generated connectivity. In our experiments, Meshy T2 achieves state-of-the-art geometric fidelity and completes end-to-end image-to-mesh generation within a median of 6 seconds, over an order of magnitude faster than autoregressive baselines. Code and weights will be available at https://github.com/meshy-dev/meshy-t2.