UniMesh: 3D 메시 이해와 생성을 통합하다
UniMesh: Unifying 3D Mesh Understanding and Generation
April 19, 2026
저자: Peng Huang, Yifeng Chen, Zeyu Zhang, Hao Tang
cs.AI
초록
3D 비전의 최근 발전은 3D 이해(예: 형상 분류, 분할, 재구성) 또는 3D 생성(예: 합성, 완성, 편집) 중 특정 영역에 특화된 모델들을 양산해왔습니다. 그러나 이러한 작업들은 종종 독립적으로 접근되어, 지식 전달과 전체적 장면 모델링을 저해하는 단편적인 아키텍처와 표현 방식을 초래했습니다. 이러한 문제를 해결하기 위해 우리는 단일 아키텍처 내에서 3D 생성과 이해를 공동으로 학습하는 통합 프레임워크인 UniMesh를 제안합니다. 첫째, 디퓨전 기반 이미지 생성과 암묵적 형상 디코더를 연결하는 교차 모델 인터페이스 역할을 하는 새로운 Mesh Head를 도입합니다. 둘째, 폐쇄형 루프의 잠재 공간, 프롬프팅, 재생성 주기를 통해 사용자 주도 의미론적 메쉬 편집을 가능하게 하는 반복적 추론의 기하학적 구현체인 Chain of Mesh(CoM)를 개발합니다. 셋째, 3D 캡셔닝과 같은 높은 수준의 작업에서 실패를 진단하고 수정하기 위해 Actor-Evaluator-Self-reflection 삼중주 기반의 자기 반성 메커니즘을 통합합니다. 실험 결과는 UniMesh가 표준 벤치마크에서 경쟁력 있는 성능을 달성할 뿐만 아니라 반복적 편집 및 생성과 이해 간의 상호 향상이라는 새로운 능력을 개방함을 보여줍니다. 코드: https://github.com/AIGeeksGroup/UniMesh. 웹사이트: https://aigeeksgroup.github.io/UniMesh.
English
Recent advances in 3D vision have led to specialized models for either 3D understanding (e.g., shape classification, segmentation, reconstruction) or 3D generation (e.g., synthesis, completion, and editing). However, these tasks are often tackled in isolation, resulting in fragmented architectures and representations that hinder knowledge transfer and holistic scene modeling. To address these challenges, we propose UniMesh, a unified framework that jointly learns 3D generation and understanding within a single architecture. First, we introduce a novel Mesh Head that acts as a cross model interface, bridging diffusion based image generation with implicit shape decoders. Second, we develop Chain of Mesh (CoM), a geometric instantiation of iterative reasoning that enables user driven semantic mesh editing through a closed loop latent, prompting, and re generation cycle. Third, we incorporate a self reflection mechanism based on an Actor Evaluator Self reflection triad to diagnose and correct failures in high level tasks like 3D captioning. Experimental results demonstrate that UniMesh not only achieves competitive performance on standard benchmarks but also unlocks novel capabilities in iterative editing and mutual enhancement between generation and understanding. Code: https://github.com/AIGeeksGroup/UniMesh. Website: https://aigeeksgroup.github.io/UniMesh.