AffordBot: 3D Feinmaschige Verkörperte Entscheidungsfindung durch Multimodale Große Sprachmodelle
AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models
November 13, 2025
papers.authors: Xinyi Wang, Xun Yang, Yanlong Xu, Yuchen Wu, Zhen Li, Na Zhao
cs.AI
papers.abstract
Eine effektive Mensch-Agenten-Kollaboration in physischen Umgebungen erfordert nicht nur das Verständnis dafür, worauf gehandelt werden soll, sondern auch, wo sich die handlungsrelevanten Elemente befinden und wie mit ihnen interagiert werden kann. Bestehende Ansätze operieren oft auf Objektebene oder behandeln die feinkörnige Affordanz-Erkennung disjointiert, wodurch eine kohärente, anweisungsgesteuerte Verankerung und Schlussfolgerung fehlt. In dieser Arbeit führen wir eine neue Aufgabe ein: Fein granulare 3D-verkörperte Reasoning, die von einem Agenten verlangt, für jedes referenzierte Affordanz-Element in einer 3D-Szene ein strukturiertes Triplett bestehend aus seiner räumlichen Position, Bewegungsart und Bewegungsachse auf Basis einer Aufgabenanweisung vorherzusagen. Zur Lösung dieser Aufgabe schlagen wir AffordBot vor, ein neuartiges Framework, das Multimodale Large Language Models (MLLMs) mit einem maßgeschneiderten Chain-of-Thought (CoT)-Reasoning-Paradigma integriert. Um die Lücke zwischen 3D-Eingabe und 2D-kompatiblen MLLMs zu überbrücken, rendern wir Rundumansichtsbilder der Szene und projizieren 3D-Elementkandidaten in diese Ansichten, um eine reiche visuelle Repräsentation zu formen, die mit der Szenengeometrie abgestimmt ist. Unsere CoT-Pipeline beginnt mit einer aktiven Wahrnehmungsphase, in der der MLLM aufgefordert wird, den informativsten Blickwinkel basierend auf der Anweisung auszuwählen, bevor mit einem schrittweisen Reasoning fortgefahren wird, um Affordanz-Elemente zu lokalisieren und plausible Interaktionsbewegungen abzuleiten. Evaluierungen auf dem SceneFun3D-Datensatz zeigen, dass AffordBot state-of-the-art Leistung erzielt und mit lediglich 3D-Punktwolken-Eingabe und MLLMs eine starke Generalisierungsfähigkeit und physikalisch fundierte Schlussfolgerung demonstriert.
English
Effective human-agent collaboration in physical environments requires understanding not only what to act upon, but also where the actionable elements are and how to interact with them. Existing approaches often operate at the object level or disjointedly handle fine-grained affordance reasoning, lacking coherent, instruction-driven grounding and reasoning. In this work, we introduce a new task: Fine-grained 3D Embodied Reasoning, which requires an agent to predict, for each referenced affordance element in a 3D scene, a structured triplet comprising its spatial location, motion type, and motion axis, based on a task instruction. To solve this task, we propose AffordBot, a novel framework that integrates Multimodal Large Language Models (MLLMs) with a tailored chain-of-thought (CoT) reasoning paradigm. To bridge the gap between 3D input and 2D-compatible MLLMs, we render surround-view images of the scene and project 3D element candidates into these views, forming a rich visual representation aligned with the scene geometry. Our CoT pipeline begins with an active perception stage, prompting the MLLM to select the most informative viewpoint based on the instruction, before proceeding with step-by-step reasoning to localize affordance elements and infer plausible interaction motions. Evaluated on the SceneFun3D dataset, AffordBot achieves state-of-the-art performance, demonstrating strong generalization and physically grounded reasoning with only 3D point cloud input and MLLMs.