Meshy T2: フローマッチングによる高速ネイティブメッシュ生成

要旨

ポリゴンメッシュは現代の3Dパイプラインにおける標準的なサーフェス表現であり、映画、ゲーム、インタラクティブ3Dアプリケーションでは、アーティストが作成したようなトポロジーを持つ高品質なメッシュの生成が不可欠である。主流のアプローチはメッシュをトークン列にシリアライズして自己回帰的にデコードするものであり、推論が遅く誤差蓄積にも敏感なため、インタラクティブなアセット作成には実用的でない。我々は、フローマッチングに基づく高速なネイティブメッシュ生成フレームワークMeshy T2を提案する。その中核は頂点集合メッシュVAEであり、メッシュを頂点ごとに1つの連続潜在トークンへエンコードし、頂点、辺の接続、面の巻き順を単一パスでデコードする。これにより、頂点量子化やウェルディングを伴わずに、高精度なジオメトリとアーティストによるトポロジーを保持する。生成は、2つのフローマッチングモデルによるcoarse-to-fineカスケードとして進行する。まず画像条件付きボクセルフローが粗い占有率スキャフォールドとして全体形状をスケッチし、次にメッシュフローが、画像、スキャフォールド、および要求された頂点バジェットに条件付けられて、スキャフォールドに頂点ごとの潜在トークンを配置する。この設計は、並列フローベース合成によるインタラクティブな生成速度、要求頂点バジェットによる効果的な面数制御、そして生成された接続関係からコンポーネントが直接得られるマルチパートアセットのネイティブサポートという3つの実用的な機能を提供する。実験では、Meshy T2は最先端の幾何学的忠実度を達成し、画像からメッシュへのエンドツーエンド生成を中央値6秒で完了する。これは自己回帰ベースラインよりも一桁以上高速である。コードと重みは https://github.com/meshy-dev/meshy-t2 で公開される予定である。

English

Polygonal meshes are the standard surface representation of modern 3D pipelines, and generating high-quality meshes with artist-style topology is essential for film, gaming, and interactive 3D applications. Mainstream approaches serialize a mesh into a token sequence and decode it autoregressively, which is slow at inference and sensitive to error accumulation, making them impractical for interactive asset creation. We present Meshy T2, a fast native mesh generation framework built on flow matching. At its core is a vertex-set mesh VAE that encodes a mesh into one continuous latent token per vertex and decodes vertices, edge connectivity, and face winding order in a single pass, preserving high-precision geometry and artist-authored topology without vertex quantization or welding. Generation proceeds as a coarse-to-fine cascade of two flow-matching models: an image-conditioned voxel flow first sketches the overall shape as a coarse occupancy scaffold, and a mesh flow then populates the scaffold with per-vertex latent tokens, conditioned on the image, the scaffold, and a requested vertex budget. This design delivers three practical capabilities: interactive generation speed through parallel flow-based synthesis; effective face-count control through the requested vertex budget; and native support for multi-part assets, whose components emerge directly from the generated connectivity. In our experiments, Meshy T2 achieves state-of-the-art geometric fidelity and completes end-to-end image-to-mesh generation within a median of 6 seconds, over an order of magnitude faster than autoregressive baselines. Code and weights will be available at https://github.com/meshy-dev/meshy-t2.