CHOrD: Geração de Gêmeos Digitais Organizados, em Escala Residencial e Livres de Colisões para Cenas Internas 3D com Plantas Baixas Controláveis e Layouts Ótimos

CHOrD: Generation of Collision-Free, House-Scale, and Organized Digital Twins for 3D Indoor Scenes with Controllable Floor Plans and Optimal Layouts

March 15, 2025

Autores: Chong Su, Yingbin Fu, Zheyuan Hu, Jing Yang, Param Hanji, Shaojun Wang, Xuan Zhao, Cengiz Öztireli, Fangcheng Zhong

cs.AI

Resumo

Apresentamos o CHOrD, uma nova estrutura para síntese escalável de cenas internas 3D, projetada para criar gêmeos digitais internos em escala residencial, livres de colisões e estruturados hierarquicamente. Em contraste com os métodos existentes que sintetizam diretamente o layout da cena como um grafo de cena ou lista de objetos, o CHOrD incorpora uma representação intermediária de layout baseada em imagens 2D, permitindo a prevenção eficaz de artefatos de colisão ao capturá-los com sucesso como cenários fora da distribuição (OOD) durante a geração. Além disso, diferentemente dos métodos existentes, o CHOrD é capaz de gerar layouts de cena que aderem a plantas baixas complexas com controles multimodais, possibilitando a criação de layouts coerentes em toda a residência, robustos a variações geométricas e semânticas nas estruturas dos cômodos. Adicionalmente, propomos um novo conjunto de dados com cobertura expandida de itens domésticos e configurações de cômodos, além de uma qualidade de dados significativamente aprimorada. O CHOrD demonstra desempenho de ponta tanto no conjunto de dados 3D-FRONT quanto no nosso conjunto de dados proposto, oferecendo síntese de cenas internas fotorrealistas e espacialmente coerentes, adaptáveis a variações arbitrárias de plantas baixas.

English

We introduce CHOrD, a novel framework for scalable synthesis of 3D indoor scenes, designed to create house-scale, collision-free, and hierarchically structured indoor digital twins. In contrast to existing methods that directly synthesize the scene layout as a scene graph or object list, CHOrD incorporates a 2D image-based intermediate layout representation, enabling effective prevention of collision artifacts by successfully capturing them as out-of-distribution (OOD) scenarios during generation. Furthermore, unlike existing methods, CHOrD is capable of generating scene layouts that adhere to complex floor plans with multi-modal controls, enabling the creation of coherent, house-wide layouts robust to both geometric and semantic variations in room structures. Additionally, we propose a novel dataset with expanded coverage of household items and room configurations, as well as significantly improved data quality. CHOrD demonstrates state-of-the-art performance on both the 3D-FRONT and our proposed datasets, delivering photorealistic, spatially coherent indoor scene synthesis adaptable to arbitrary floor plan variations.