SceneMosaic: 하이브리드 에이전틱 레이아웃 진화를 통한 효율적이고 다양한 시뮬레이션 준비 장면 생성

초록

다양하고 시뮬레이션 가능한 실내 장면은 대화형 엔터테인먼트와 체화된 AI에 필수적이지만, 확장 가능한 생성은 여전히 어려운 과제이다. 비전-언어 모델(VLM)에 의존하는 최근의 에이전트 기반 텍스트-투-3D 장면 파이프라인은 고충실도의 장면을 생성할 수 있지만, 비용이 많이 드는 반복적인 객체 배치와 개선이 필요하다. 또 다른 주류 패러다임인 파라메트릭 이미지-투-3D 장면 모델은 2D 이미지로부터 학습된 강력한 사전 지식을 바탕으로 효율적으로 장면을 생성하지만, 종종 부정확하고 물리적으로 타당하지 않은 장면을 만들어낸다. 더욱이, 두 패러다임 모두 단일 입력에 대해 다양한 장면을 출력하는 데 어려움을 겪어, 실제 장면의 동적으로 변화하는 특성을 반영하기 어렵다. 본 논문에서 우리는 두 패러다임의 장점을 결합한 프레임워크인 SceneMosaic를 제안한다. 이는 학습된 이미지 기반 사전 지식으로부터 초기 후보를 얻고, 이후 VLM 에이전트를 통해 결과를 진화시켜 효율성과 물리적 타당성을 모두 보장한다. 진화 과정에서 SceneMosaic는 자연 장면의 국소성을 활용하여 장면을 독립적인 로컬 단위로 분해하고, 각 단위 내에서 개별적인 진화를 허용한 후 데카르트 곱을 통해 전역 장면을 구성한다. SceneEval-100에서 SceneMosaic는 의미론적 레이아웃 품질에서 가장 강력한 에이전트 기반 베이스라인과 대등하면서 24배의 속도 향상을 달성하고, 물리적 위반을 상당히 감소시키며, 가장 높은 인간 평가를 받는다. 우리의 코드는 https://github.com/rxjfighting/SceneMosaic에서 공개적으로 이용 가능하다.

English

Diverse and simulation-ready indoor scenes are essential for interactive entertainment and embodied AI, yet their scalable generation remains challenging. Recent agentic text-to-3D scene pipelines that rely on vision-language models (VLMs) can generate scenes of high fidelity but require costly iterative object placement and refinement. Another mainstream paradigm, parametric image-to-3D scene models, produces scenes efficiently from strong priors learned from 2D images but often leads to imprecise and physically invalid scenes. More importantly, both paradigms struggle to output diverse scenes for a single input, making it hard for them to reflect the dynamically changing nature of real scenes. In this paper we propose SceneMosaic, a framework that combines the merits of both paradigms. It obtains the initial candidate from the learned image-based prior, and subsequently evolves the result through VLM agents, ensuring both efficiency and physical validity. Within the evolution process, SceneMosaic exploits the locality of natural scenes and decomposes a scene into independent local units, allowing separate evolution within each unit before composing the global scene via Cartesian product. On SceneEval-100, SceneMosaic matches the strongest agentic baseline in semantic layout quality with a 24x speedup, substantially reduces physical violations, and receives the highest human ratings. Our code is publicly available at https://github.com/rxjfighting/SceneMosaic.