World2Minecraft: 점유율 기반 가상 현실 장면 구축

초록

구현된 지능은 인지와 의사 결정을 지원하기 위해 높은 정밀도의 시뮬레이션 환경을 필요로 하지만, 기존 플랫폼들은 데이터 오염과 제한된 유연성 문제를 자주 겪습니다. 이를 완화하기 위해 우리는 3D 시맨틱 점유율 예측을 기반으로 실제 세계 장면을 구조화된 마인크래프트 환경으로 변환하는 World2Minecraft를 제안합니다. 재구성된 장면에서는 비전-언어 내비게이션(VLN)과 같은 하위 작업을 손쉽게 수행할 수 있습니다. 그러나 재구성 품질이 정확한 점유율 예측에 크게 의존하는 반면, 기존 모델들의 경우 데이터 부족과 낮은 일반화 성능으로 한계가 있음을 관찰했습니다. 우리는 맞춤형 점유율 데이터셋 생성을 위한 저비용, 자동화, 확장 가능한 데이터 획득 파이프라인을 도입하고, 156개의 풍부한 실내 장면에서 추출한 100,165장의 이미지로 구성된 대규모 데이터셋인 MinecraftOcc을 통해 그 효과를 입증합니다. 폭넓은 실험 결과, 우리의 데이터셋이 기존 데이터셋에 중요한 보완재를 제공하며 현재 SOTA(최첨단) 방법들에 상당한 도전 과제를 제기함을 보여줍니다. 이러한 연구 결과는 점유율 예측 성능 향상에 기여하며, 맞춤형 구현 AI 연구를 위한 사용자 지정 및 편집 가능한 플랫폼으로서 World2Minecraft의 가치를 부각합니다. 프로젝트 페이지: https://world2minecraft.github.io/.

English

Embodied intelligence requires high-fidelity simulation environments to support perception and decision-making, yet existing platforms often suffer from data contamination and limited flexibility. To mitigate this, we propose World2Minecraft to convert real-world scenes into structured Minecraft environments based on 3D semantic occupancy prediction. In the reconstructed scenes, we can effortlessly perform downstream tasks such as Vision-Language Navigation(VLN). However, we observe that reconstruction quality heavily depends on accurate occupancy prediction, which remains limited by data scarcity and poor generalization in existing models. We introduce a low-cost, automated, and scalable data acquisition pipeline for creating customized occupancy datasets, and demonstrate its effectiveness through MinecraftOcc, a large-scale dataset featuring 100,165 images from 156 richly detailed indoor scenes. Extensive experiments show that our dataset provides a critical complement to existing datasets and poses a significant challenge to current SOTA methods. These findings contribute to improving occupancy prediction and highlight the value of World2Minecraft in providing a customizable and editable platform for personalized embodied AI research. Project page:https://world2minecraft.github.io/.

World2Minecraft: 점유율 기반 가상 현실 장면 구축

World2Minecraft: Occupancy-Driven Simulated Scenes Construction

초록

Support