MesaTask: Auf dem Weg zur aufgabengetriebenen Tischszenerie-Generierung durch 3D-räumliches Schließen

papers.abstract

Die Fähigkeit von Robotern, menschliche Anweisungen zu interpretieren und Manipulationsaufgaben auszuführen, erfordert die Verfügbarkeit von aufgabenrelevanten Tischszenen für das Training. Traditionelle Methoden zur Erstellung dieser Szenen beruhen jedoch auf zeitaufwändigem manuellem Layout-Design oder rein zufälligen Anordnungen, die in Bezug auf Plausibilität oder Aufgabenausrichtung begrenzt sind. In diesem Artikel formulieren wir eine neuartige Aufgabe, nämlich die aufgabenorientierte Tischszenengenerierung, die aufgrund der erheblichen Lücke zwischen hochrangigen Aufgabenanweisungen und den Tischszenen erhebliche Herausforderungen darstellt. Um die Forschung zu einer solch anspruchsvollen Aufgabe zu unterstützen, stellen wir MesaTask-10K vor, einen umfangreichen Datensatz, der etwa 10.700 synthetische Tischszenen mit manuell gestalteten Layouts umfasst, die realistische Anordnungen und komplexe Inter-Objekt-Beziehungen gewährleisten. Um die Lücke zwischen Aufgaben und Szenen zu überbrücken, schlagen wir eine Spatial Reasoning Chain vor, die den Generierungsprozess in Objektinferenz, räumliche Interrelationsanalyse und Szenengraphenkonstruktion für das finale 3D-Layout unterteilt. Wir präsentieren MesaTask, ein LLM-basiertes Framework, das diese Reasoning Chain nutzt und durch DPO-Algorithmen weiter verbessert wird, um physikalisch plausible Tischszenen zu generieren, die gut mit gegebenen Aufgabenbeschreibungen übereinstimmen. Umfangreiche Experimente demonstrieren die überlegene Leistung von MesaTask im Vergleich zu Baseline-Methoden bei der Generierung von aufgabenkonformen Tischszenen mit realistischen Layouts. Die Projektseite befindet sich unter https://mesatask.github.io/.

English

The ability of robots to interpret human instructions and execute manipulation tasks necessitates the availability of task-relevant tabletop scenes for training. However, traditional methods for creating these scenes rely on time-consuming manual layout design or purely randomized layouts, which are limited in terms of plausibility or alignment with the tasks. In this paper, we formulate a novel task, namely task-oriented tabletop scene generation, which poses significant challenges due to the substantial gap between high-level task instructions and the tabletop scenes. To support research on such a challenging task, we introduce MesaTask-10K, a large-scale dataset comprising approximately 10,700 synthetic tabletop scenes with manually crafted layouts that ensure realistic layouts and intricate inter-object relations. To bridge the gap between tasks and scenes, we propose a Spatial Reasoning Chain that decomposes the generation process into object inference, spatial interrelation reasoning, and scene graph construction for the final 3D layout. We present MesaTask, an LLM-based framework that utilizes this reasoning chain and is further enhanced with DPO algorithms to generate physically plausible tabletop scenes that align well with given task descriptions. Exhaustive experiments demonstrate the superior performance of MesaTask compared to baselines in generating task-conforming tabletop scenes with realistic layouts. Project page is at https://mesatask.github.io/

MesaTask: Auf dem Weg zur aufgabengetriebenen Tischszenerie-Generierung durch 3D-räumliches Schließen

MesaTask: Towards Task-Driven Tabletop Scene Generation via 3D Spatial Reasoning

papers.abstract

Support