UniMesh：3Dメッシュの理解と生成の統一
UniMesh: Unifying 3D Mesh Understanding and Generation
April 19, 2026
著者: Peng Huang, Yifeng Chen, Zeyu Zhang, Hao Tang
cs.AI
要旨
3Dビジョンの最近の進歩により、3D理解（形状分類、セグメンテーション、再構成など）または3D生成（合成、補完、編集など）のいずれかに特化したモデルが開発されてきた。しかし、これらのタスクは個別に取り組まれることが多く、断片化されたアーキテクチャと表現により、知識伝達とホリスティックなシーンモデリングが妨げられている。これらの課題に対処するため、我々は単一アーキテクチャ内で3D生成と理解を共同学習する統一フレームワーク「UniMesh」を提案する。第一に、拡散ベースの画像生成と暗黙的形状デコーダを橋渡しするクロスモデルインターフェースとして機能する新規のMesh Headを導入する。第二に、閉ループの潜在変数、プロンプト、再生成サイクルによるユーザ主導の意味的メッシュ編集を可能にする反復推論の幾何学的実装であるChain of Mesh（CoM）を開発する。第三に、3Dキャプション生成のような高レベルタスクにおける失敗を診断・修正するため、Actor-Evaluator-Self-reflectionの三要素に基づく自己反省機構を組み込む。実験結果により、UniMeshが標準ベンチマークで競争力のある性能を達成するだけでなく、反復的編集および生成と理解の相互強化における新規機能を解放することを実証する。コード：https://github.com/AIGeeksGroup/UniMesh ウェブサイト：https://aigeeksgroup.github.io/UniMesh
English
Recent advances in 3D vision have led to specialized models for either 3D understanding (e.g., shape classification, segmentation, reconstruction) or 3D generation (e.g., synthesis, completion, and editing). However, these tasks are often tackled in isolation, resulting in fragmented architectures and representations that hinder knowledge transfer and holistic scene modeling. To address these challenges, we propose UniMesh, a unified framework that jointly learns 3D generation and understanding within a single architecture. First, we introduce a novel Mesh Head that acts as a cross model interface, bridging diffusion based image generation with implicit shape decoders. Second, we develop Chain of Mesh (CoM), a geometric instantiation of iterative reasoning that enables user driven semantic mesh editing through a closed loop latent, prompting, and re generation cycle. Third, we incorporate a self reflection mechanism based on an Actor Evaluator Self reflection triad to diagnose and correct failures in high level tasks like 3D captioning. Experimental results demonstrate that UniMesh not only achieves competitive performance on standard benchmarks but also unlocks novel capabilities in iterative editing and mutual enhancement between generation and understanding. Code: https://github.com/AIGeeksGroup/UniMesh. Website: https://aigeeksgroup.github.io/UniMesh.