Lucida: 조합 가능한 Real-to-Sim 장면 모델링을 위한 파싱, 생성, 배치

초록

구성 가능한 장면 모델링은 실제 실내 장면을 관찰된 대로 배치된 완전하고 편집 가능한 객체 에셋으로 복원하여, 로봇 시뮬레이션과 체화 AI에 객체를 개별적으로 조작할 수 있는 시뮬레이션 준비 복제본을 제공하는 것을 목표로 한다. 기존 파이프라인은 이 작업을 세 단계, 즉 관측을 인스턴스로 분해하고, 각각에 대한 에셋을 생성하고, 각 에셋을 다시 배치하는 단계로 분해하지만, 모든 단계는 어수선한 캡처가 거의 제공하지 못하는 입력, 즉 정확한 인스턴스 지오메트리, 가려짐 없는 뷰, 관측과 정확히 일치하는 에셋을 전제로 한다. 우리는 이 순서를 유지하면서 요구사항을 재분배하는 Lucida를 제안한다. Lucida는 각 단계가 실제 캡처가 안정적으로 제공하는 것만을 소비하며, 정밀도는 파이프라인의 시작에서 요구되는 대신 끝에서 달성된다. Lucida는 비디오를 장면 그래프로 파싱하여 각 노드가 인스턴스별 다중 뷰 증거를 담게 하고, 각 인스턴스에 대해 해당 증거로부터 완전한 에셋을 생성하며, 배치를 다중 턴 GUI 상호작용으로 간주하는 VLM 정책인 GizmoAct를 통해 에셋을 배치한다. GizmoAct는 폐루프에서 객체의 기즈모를 조작하고 정렬이 달성된 시점을 스스로 결정한다. 장면 수준 3D 객체 검출, 객체 자세 추정, 장면 재구성에 걸쳐 Lucida는 R2S-Scene에서 Boxer 대비 mAP를 69% 향상시키고, CA-1M에서 ADD-SB@0.05를 57.8%에서 83.4%로 끌어올리며, 장면 F-Score를 SAM3D의 0.794에서 0.924로 증가시킨다.

English

Composable scene modeling aims to recover a real indoor scene as complete, editable object assets arranged as observed, giving robot simulation and embodied AI a simulation-ready replica of the real environment whose objects can be manipulated individually. Existing pipelines decompose the task into three steps---parse the observations into instances, generate an asset for each, and place each asset back---but every step presumes an input that a cluttered capture rarely provides: accurate instance geometry, unoccluded views, and assets that accurately match the observations. We propose Lucida, which keeps this order but redistributes the requirements, so each step consumes only what a real capture reliably provides and precision is reached at the end of the pipeline rather than demanded at its start. Lucida parses the video into a scene graph whose nodes carry per-instance multi-view evidence, generates a complete asset for each instance from its evidence, and places assets with GizmoAct, a VLM policy that casts placement as multi-turn GUI interaction, manipulating the object's gizmo in a closed loop and deciding itself when alignment is reached. Across scene-level 3D object detection, object pose estimation, and scene reconstruction, Lucida improves mAP over Boxer by 69% on R2S-Scene, raises ADD-SB@0.05 from 57.8% to 83.4% on CA-1M, and increases scene F-Score from 0.794 for SAM3D to 0.924.

Lucida: 조합 가능한 Real-to-Sim 장면 모델링을 위한 파싱, 생성, 배치

Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling

초록

Support