AffordBot: 3D Fijngranulaire Belichaamde Redenering via Multimodale Grote Taalmodellen

AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models

November 13, 2025

Auteurs: Xinyi Wang, Xun Yang, Yanlong Xu, Yuchen Wu, Zhen Li, Na Zhao

cs.AI

Samenvatting

Effectieve mens-agent samenwerking in fysieke omgevingen vereist niet alleen inzicht in wat er uitgevoerd moet worden, maar ook waar de uitvoerbare elementen zich bevinden en hoe ermee geïnterageerd moet worden. Bestaande benaderingen opereren vaak op objectniveau of behandelen fijnmazige affordantieredenering onsamenhangend, waarbij coherente, instructiegestuurde gronding en redenering ontbreekt. In dit werk introduceren we een nieuwe taak: Fijnmazige 3D Belichaamde Redenering, waarbij een agent voor elk gerefereerd affordantie-element in een 3D-scène een gestructureerd triplet moet voorspellen, bestaande uit de ruimtelijke locatie, het bewegingstype en de bewegingsas, op basis van een taakinstructie. Om deze taak op te lossen, stellen we AffordBot voor, een nieuw raamwerk dat Multimodale Grote Taalmodellen (MLLM's) integreert met een op maat gemaakt chain-of-thought (CoT) redeneerparadigma. Om de kloof tussen 3D-input en 2D-compatibele MLLM's te overbruggen, renderen we surround-beeldopnamen van de scène en projecteren we 3D-elementkandidaten in deze beelden, waardoor een rijke visuele representatie ontstaat die is afgestemd op de scènegeometrie. Onze CoT-pijplijn begint met een actieve perceptiefase, waarbij de MLLM wordt aangezet om het meest informatieve gezichtspunt te selecteren op basis van de instructie, alvorens over te gaan tot stapsgewijze redenering om affordantie-elementen te lokaliseren en plausibele interactiebewegingen af te leiden. Geëvalueerd op de SceneFun3D-dataset behaalt AffordBot state-of-the-art prestaties, wat sterke generalisatie en fysiek onderbouwde redenering aantoont met alleen 3D-puntwolkinput en MLLM's.

English

Effective human-agent collaboration in physical environments requires understanding not only what to act upon, but also where the actionable elements are and how to interact with them. Existing approaches often operate at the object level or disjointedly handle fine-grained affordance reasoning, lacking coherent, instruction-driven grounding and reasoning. In this work, we introduce a new task: Fine-grained 3D Embodied Reasoning, which requires an agent to predict, for each referenced affordance element in a 3D scene, a structured triplet comprising its spatial location, motion type, and motion axis, based on a task instruction. To solve this task, we propose AffordBot, a novel framework that integrates Multimodal Large Language Models (MLLMs) with a tailored chain-of-thought (CoT) reasoning paradigm. To bridge the gap between 3D input and 2D-compatible MLLMs, we render surround-view images of the scene and project 3D element candidates into these views, forming a rich visual representation aligned with the scene geometry. Our CoT pipeline begins with an active perception stage, prompting the MLLM to select the most informative viewpoint based on the instruction, before proceeding with step-by-step reasoning to localize affordance elements and infer plausible interaction motions. Evaluated on the SceneFun3D dataset, AffordBot achieves state-of-the-art performance, demonstrating strong generalization and physically grounded reasoning with only 3D point cloud input and MLLMs.