AffordBot: Raciocínio Embutido de Granularidade Fina em 3D via Modelos de Linguagem Multimodais de Grande Escala

AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models

November 13, 2025

Autores: Xinyi Wang, Xun Yang, Yanlong Xu, Yuchen Wu, Zhen Li, Na Zhao

cs.AI

Resumo

A colaboração eficaz entre humanos e agentes em ambientes físicos requer a compreensão não apenas do que atuar, mas também de onde estão os elementos acionáveis e como interagir com eles. As abordagens existentes geralmente operam no nível de objeto ou lidam de forma fragmentada com o raciocínio de affordance em granularidade fina, carecendo de uma fundamentação e raciocínio coerentes e orientados por instruções. Neste trabalho, introduzimos uma nova tarefa: Raciocínio Corporificado 3D de Granularidade Fina, que requer que um agente preveja, para cada elemento de affordance referenciado em uma cena 3D, um tripleto estruturado compreendendo sua localização espacial, tipo de movimento e eixo de movimento, com base em uma instrução de tarefa. Para resolver esta tarefa, propomos o AffordBot, uma estrutura nova que integra Modelos de Linguagem Multimodais de Grande Escala (MLLMs) com um paradigma de raciocínio em cadeia de pensamento (CoT) personalizado. Para preencher a lacuna entre a entrada 3D e os MLLMs compatíveis com 2D, renderizamos imagens de visão envolvente da cena e projetamos os candidatos a elementos 3D nessas visualizações, formando uma representação visual rica alinhada com a geometria da cena. Nossa pipeline CoT começa com um estágio de percepção ativa, solicitando que o MLLM selecione o ponto de vista mais informativo com base na instrução, antes de prosseguir com um raciocínio passo a passo para localizar elementos de affordance e inferir movimentos de interação plausíveis. Avaliado no conjunto de dados SceneFun3D, o AffordBot atinge um desempenho de ponta, demonstrando forte generalização e raciocínio fisicamente fundamentado com apenas entrada de nuvem de pontos 3D e MLLMs.

English

Effective human-agent collaboration in physical environments requires understanding not only what to act upon, but also where the actionable elements are and how to interact with them. Existing approaches often operate at the object level or disjointedly handle fine-grained affordance reasoning, lacking coherent, instruction-driven grounding and reasoning. In this work, we introduce a new task: Fine-grained 3D Embodied Reasoning, which requires an agent to predict, for each referenced affordance element in a 3D scene, a structured triplet comprising its spatial location, motion type, and motion axis, based on a task instruction. To solve this task, we propose AffordBot, a novel framework that integrates Multimodal Large Language Models (MLLMs) with a tailored chain-of-thought (CoT) reasoning paradigm. To bridge the gap between 3D input and 2D-compatible MLLMs, we render surround-view images of the scene and project 3D element candidates into these views, forming a rich visual representation aligned with the scene geometry. Our CoT pipeline begins with an active perception stage, prompting the MLLM to select the most informative viewpoint based on the instruction, before proceeding with step-by-step reasoning to localize affordance elements and infer plausible interaction motions. Evaluated on the SceneFun3D dataset, AffordBot achieves state-of-the-art performance, demonstrating strong generalization and physically grounded reasoning with only 3D point cloud input and MLLMs.