TableVerse: 일반화 가능한 조작을 위한 실세계 기반 레이아웃을 포함한 대규모 탁상 데이터셋

초록

일반화 가능한 로봇 조작 정책의 개발은 본질적으로 대규모 고충실도 장면 데이터의 가용성에 의해 제한된다. 최근의 자동화된 합성 방법들은 텍스트-레이아웃 환각 또는 단순화된 절차적 생성을 통해 이러한 격차를 해소하려 시도하지만, 빈번하게 물리적 비현실성을 겪고 실제 인간 환경의 복잡하고 밀집된 잡동사니를 포착하지 못한다. 본 논문에서는 상상력에 기반한 레이아웃 생성에서 비정형 현장 이미지 데이터의 결정론적 재구성으로 패러다임을 전환하는 완전 자동화된 Real2Sim 파이프라인인 TableVerse를 소개한다. 우리의 프레임워크는 각색되지 않은 인터넷 미디어를 정확한 미터법 스케일, 실제 토폴로지 및 검증된 기계적 안정성을 갖춘 고충실도 시뮬레이션 준비 완료 탁상 환경으로 원활하게 처리한다. 나아가, 고품질의 충돌 없는 픽 앤 플레이스 시연을 합성하기 위해 자동화된 작업 조건부 궤적 생성 프레임워크가 통합된다. 이 완전한 파이프라인을 활용하여, 상호작용형 조작 궤적과 쌍을 이루는 100,000개의 고유하고 물리적으로 일관된 환경으로 구성된 대규모 말뭉치인 TableVerse-100K 데이터셋을 구축한다. 다양한 자산 구성, 현실적인 공간 분포 및 고품질 시연을 포착함으로써, TableVerse-100K는 고도로 확장 가능하고 고충실도의 데이터 기반을 확립하여, 일반화 가능한 로봇 조작 작업에 대한 향후 연구를 촉진하는 데 중요한 가치를 제공한다.

English

The development of generalizable robotic manipulation policies is inherently bounded by the availability of large-scale, high-fidelity scene data. While recent automated synthesis methods attempt to bridge this gap via text-to-layout hallucination or simplified procedural generation, they frequently suffer from physical implausibility and fail to capture the complex, dense clutter of actual human environments. In this paper, we introduce TableVerse, a fully automated Real2Sim pipeline that shifts the paradigm from imaginative layout generation to deterministic reconstruction from unstructured, in-the-wild image data. Our framework seamlessly processes unscripted internet media into high-fidelity, simulation-ready tabletop environments with accurate metric scales, authentic topologies, and verified mechanical stability. Furthermore, an automated task-conditioned trajectory generation framework is integrated to synthesize high-quality, collision-free pick-and-place demonstrations. Leveraging this complete pipeline, we construct the TableVerse-100K Dataset, a large-scale corpus comprising 100,000 unique, physically consistent environments paired with interactive manipulation trajectories. By capturing diverse asset compositions, realistic spatial distributions, and high-quality demonstrations, TableVerse-100K establishes a highly scalable and high-fidelity data foundation, providing significant value to facilitate future research in generalizable robotic manipulation tasks.