AffordBot : Raisonnement incarné granulaire en 3D via des modèles de langage multimodaux de grande taille

AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models

November 13, 2025

Auteurs: Xinyi Wang, Xun Yang, Yanlong Xu, Yuchen Wu, Zhen Li, Na Zhao

cs.AI

Résumé

Une collaboration efficace entre les humains et les agents dans des environnements physiques nécessite de comprendre non seulement sur quoi agir, mais aussi où se trouvent les éléments actionnables et comment interagir avec eux. Les approches existantes opèrent souvent au niveau des objets ou traitent de manière disjointe le raisonnement sur les affordances fines, manquant d'un ancrage et d'un raisonnement cohérents guidés par les instructions. Dans ce travail, nous introduisons une nouvelle tâche : le Raisonnement Incarné 3D à Granularité Fine, qui requiert qu'un agent prédise, pour chaque élément d'affordance référencé dans une scène 3D, un triplet structuré comprenant sa localisation spatiale, son type de mouvement et son axe de mouvement, sur la base d'une instruction de tâche. Pour résoudre cette tâche, nous proposons AffordBot, une nouvelle architecture qui intègre des Modèles de Langage Multimodaux de Grande Taille (MLLMs) avec un paradigme de raisonnement en chaîne de pensée (CoT) spécifiquement adapté. Pour combler le fossé entre l'entrée 3D et les MLLMs compatibles 2D, nous rendons des images en vue surround de la scène et projetons les candidats d'éléments 3D dans ces vues, formant une représentation visuelle riche alignée sur la géométrie de la scène. Notre pipeline CoT commence par une étape de perception active, incitant le MLLM à sélectionner le point de vue le plus informatif en fonction de l'instruction, avant de procéder à un raisonnement étape par étape pour localiser les éléments d'affordance et inférer les mouvements d'interaction plausibles. Évalué sur le jeu de données SceneFun3D, AffordBot atteint des performances de pointe, démontrant une forte généralisation et un raisonnement physiquement ancré avec seulement des nuages de points 3D en entrée et des MLLMs.

English

Effective human-agent collaboration in physical environments requires understanding not only what to act upon, but also where the actionable elements are and how to interact with them. Existing approaches often operate at the object level or disjointedly handle fine-grained affordance reasoning, lacking coherent, instruction-driven grounding and reasoning. In this work, we introduce a new task: Fine-grained 3D Embodied Reasoning, which requires an agent to predict, for each referenced affordance element in a 3D scene, a structured triplet comprising its spatial location, motion type, and motion axis, based on a task instruction. To solve this task, we propose AffordBot, a novel framework that integrates Multimodal Large Language Models (MLLMs) with a tailored chain-of-thought (CoT) reasoning paradigm. To bridge the gap between 3D input and 2D-compatible MLLMs, we render surround-view images of the scene and project 3D element candidates into these views, forming a rich visual representation aligned with the scene geometry. Our CoT pipeline begins with an active perception stage, prompting the MLLM to select the most informative viewpoint based on the instruction, before proceeding with step-by-step reasoning to localize affordance elements and infer plausible interaction motions. Evaluated on the SceneFun3D dataset, AffordBot achieves state-of-the-art performance, demonstrating strong generalization and physically grounded reasoning with only 3D point cloud input and MLLMs.