TableVerse: 汎化可能な操作のための現実世界に基づくレイアウトを備えた大規模テーブルトップデータセット

要旨

汎用ロボット操作ポリシーの開発は、大規模かつ高忠実度のシーンデータの入手可能性に本質的に制約される。近年、自動合成手法がテキストからレイアウトへの幻覚的生成や簡略化された手続き的生成によってこのギャップを埋めようと試みているが、それらはしばしば物理的に非現実的であり、実際の人間環境に見られる複雑で密集した乱雑さを捉えることができない。本論文では、想像上のレイアウト生成から非構造化の実世界画像データに基づく決定論的再構築へとパラダイムを転換する、完全自動化されたReal2SimパイプラインであるTableVerseを紹介する。本フレームワークは、非スクリプトのインターネットメディアをシームレスに処理し、正確なメートル尺度、本物のトポロジー、検証済みの機械的安定性を備えた、シミュレーション対応の高忠実度テーブルトップ環境へと変換する。さらに、自動化されたタスク条件付き軌道生成フレームワークを統合し、高品質で衝突のないピックアンドプレースデモンストレーションを合成する。この完全なパイプラインを活用して、100,000のユニークで物理的に整合性のある環境と、それに対応するインタラクティブな操作軌道をペアリングした大規模コーパスであるTableVerse-100Kデータセットを構築する。多様なアセット構成、現実的な空間分布、高品質なデモンストレーションを捉えることにより、TableVerse-100Kは高度にスケーラブルで高忠実度のデータ基盤を確立し、将来の汎用ロボット操作タスクの研究を促進する上で大きな価値を提供する。

English

The development of generalizable robotic manipulation policies is inherently bounded by the availability of large-scale, high-fidelity scene data. While recent automated synthesis methods attempt to bridge this gap via text-to-layout hallucination or simplified procedural generation, they frequently suffer from physical implausibility and fail to capture the complex, dense clutter of actual human environments. In this paper, we introduce TableVerse, a fully automated Real2Sim pipeline that shifts the paradigm from imaginative layout generation to deterministic reconstruction from unstructured, in-the-wild image data. Our framework seamlessly processes unscripted internet media into high-fidelity, simulation-ready tabletop environments with accurate metric scales, authentic topologies, and verified mechanical stability. Furthermore, an automated task-conditioned trajectory generation framework is integrated to synthesize high-quality, collision-free pick-and-place demonstrations. Leveraging this complete pipeline, we construct the TableVerse-100K Dataset, a large-scale corpus comprising 100,000 unique, physically consistent environments paired with interactive manipulation trajectories. By capturing diverse asset compositions, realistic spatial distributions, and high-quality demonstrations, TableVerse-100K establishes a highly scalable and high-fidelity data foundation, providing significant value to facilitate future research in generalizable robotic manipulation tasks.