Lucida：構成可能なReal-to-Simシーン生成のための解析・生成・配置

Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling

August 31, 2026

著者: Minghan Qin, Yuang Wang, Xiuyu Yang, Yushi Long, Yujian Zhang, Ruihuan Wang, Kai Ye, Yangang Zhang, Hang Li

cs.AI

要旨

構成可能なシーンモデリングは、実在の屋内シーンを、観測されたとおりの配置を持つ完全かつ編集可能なオブジェクトアセットとして復元することを目的とし、ロボットシミュレーションと身体化AIに対して、個々のオブジェクトを個別に操作できる実環境のシミュレーション対応レプリカを提供する。既存のパイプラインはこのタスクを、観測をインスタンスに解析する、各インスタンスのアセットを生成する、各アセットを元の位置に配置する、という三つのステップに分解する。しかし、各ステップは乱雑なキャプチャではめったに得られない入力、すなわち正確なインスタンス形状、遮蔽のないビュー、観測に正確に一致するアセットを前提としている。我々はこの順序を維持しつつ要件を再分配するLucidaを提案する。Lucidaでは、各ステップが実際のキャプチャが確実に提供する情報のみを入力として利用し、精度はパイプラインの開始時に要求されるのではなく、終端で達成される。Lucidaはビデオをシーングラフに解析し、そのノードはインスタンスごとの多視点エビデンスを保持する。そして各インスタンスについて、そのエビデンスから完全なアセットを生成し、アセットの配置にはGizmoActを用いる。GizmoActは配置を多ターンのGUI操作として扱うVLMポリシーであり、オブジェクトのギズモを閉ループで操作し、位置合わせが完了した時点を自ら決定する。シーンレベルの3D物体検出、物体姿勢推定、シーン再構成において、LucidaはR2S-Scene上でBoxerに対するmAPを69%向上させ、CA-1M上でADD-SB@0.05を57.8%から83.4%に引き上げ、シーンFスコアをSAM3Dの0.794から0.924に向上させる。

English

Composable scene modeling aims to recover a real indoor scene as complete, editable object assets arranged as observed, giving robot simulation and embodied AI a simulation-ready replica of the real environment whose objects can be manipulated individually. Existing pipelines decompose the task into three steps---parse the observations into instances, generate an asset for each, and place each asset back---but every step presumes an input that a cluttered capture rarely provides: accurate instance geometry, unoccluded views, and assets that accurately match the observations. We propose Lucida, which keeps this order but redistributes the requirements, so each step consumes only what a real capture reliably provides and precision is reached at the end of the pipeline rather than demanded at its start. Lucida parses the video into a scene graph whose nodes carry per-instance multi-view evidence, generates a complete asset for each instance from its evidence, and places assets with GizmoAct, a VLM policy that casts placement as multi-turn GUI interaction, manipulating the object's gizmo in a closed loop and deciding itself when alignment is reached. Across scene-level 3D object detection, object pose estimation, and scene reconstruction, Lucida improves mAP over Boxer by 69% on R2S-Scene, raises ADD-SB@0.05 from 57.8% to 83.4% on CA-1M, and increases scene F-Score from 0.794 for SAM3D to 0.924.