MesaTask: Verso la Generazione di Scene per Tavoli Basata su Compiti attraverso il Ragionamento Spaziale 3D

Abstract

La capacità dei robot di interpretare le istruzioni umane e di eseguire compiti di manipolazione richiede la disponibilità di scene su tavolo rilevanti per il compito, utili per l'addestramento. Tuttavia, i metodi tradizionali per creare queste scene si basano su un design manuale del layout che richiede molto tempo o su layout puramente casuali, che sono limitati in termini di plausibilità o allineamento con i compiti. In questo articolo, formuliamo un nuovo compito, ovvero la generazione di scene su tavolo orientate al compito, che presenta sfide significative a causa del divario sostanziale tra le istruzioni di alto livello e le scene su tavolo. Per supportare la ricerca su un compito così impegnativo, introduciamo MesaTask-10K, un dataset su larga scala che comprende circa 10.700 scene sintetiche su tavolo con layout progettati manualmente che garantiscono layout realistici e relazioni intricate tra gli oggetti. Per colmare il divario tra compiti e scene, proponiamo una Catena di Ragionamento Spaziale che scompone il processo di generazione in inferenza degli oggetti, ragionamento sulle interrelazioni spaziali e costruzione di un grafo della scena per il layout 3D finale. Presentiamo MesaTask, un framework basato su LLM che utilizza questa catena di ragionamento e che è ulteriormente potenziato con algoritmi DPO per generare scene su tavolo fisicamente plausibili e ben allineate con le descrizioni dei compiti fornite. Esperimenti esaustivi dimostrano la performance superiore di MesaTask rispetto ai metodi di base nella generazione di scene su tavolo conformi al compito con layout realistici. La pagina del progetto è disponibile all'indirizzo https://mesatask.github.io/

English

The ability of robots to interpret human instructions and execute manipulation tasks necessitates the availability of task-relevant tabletop scenes for training. However, traditional methods for creating these scenes rely on time-consuming manual layout design or purely randomized layouts, which are limited in terms of plausibility or alignment with the tasks. In this paper, we formulate a novel task, namely task-oriented tabletop scene generation, which poses significant challenges due to the substantial gap between high-level task instructions and the tabletop scenes. To support research on such a challenging task, we introduce MesaTask-10K, a large-scale dataset comprising approximately 10,700 synthetic tabletop scenes with manually crafted layouts that ensure realistic layouts and intricate inter-object relations. To bridge the gap between tasks and scenes, we propose a Spatial Reasoning Chain that decomposes the generation process into object inference, spatial interrelation reasoning, and scene graph construction for the final 3D layout. We present MesaTask, an LLM-based framework that utilizes this reasoning chain and is further enhanced with DPO algorithms to generate physically plausible tabletop scenes that align well with given task descriptions. Exhaustive experiments demonstrate the superior performance of MesaTask compared to baselines in generating task-conforming tabletop scenes with realistic layouts. Project page is at https://mesatask.github.io/

MesaTask: Verso la Generazione di Scene per Tavoli Basata su Compiti attraverso il Ragionamento Spaziale 3D

MesaTask: Towards Task-Driven Tabletop Scene Generation via 3D Spatial Reasoning

Abstract

Support