AffordBot: 3D-обоснованное воплощенное рассуждение с помощью мультимодальных больших языковых моделей

AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models

November 13, 2025

Авторы: Xinyi Wang, Xun Yang, Yanlong Xu, Yuchen Wu, Zhen Li, Na Zhao

cs.AI

Аннотация

Эффективное взаимодействие человека и агента в физических средах требует понимания не только того, на что воздействовать, но и того, где находятся целевые элементы и как с ними взаимодействовать. Существующие подходы часто работают на уровне объектов или разрозненно обрабатывают детализированное распознавание аффордансов, не обеспечивая согласованного, основанного на инструкциях закрепления и рассуждения. В данной работе мы представляем новую задачу: Детализированное воплощенное рассуждение в 3D, которая требует от агента предсказания для каждого упомянутого элемента аффорданса в 3D-сцене структурированного триплета, включающего его пространственное местоположение, тип движения и ось движения, на основе текстовой инструкции. Для решения этой задачи мы предлагаем AffordBot, новую архитектуру, которая интегрирует Мультимодальные Большие Языковые Модели (MLLM) с адаптированной парадигмой рассуждений по цепочке мыслей (CoT). Чтобы преодолеть разрыв между 3D-вводом и MLLM, совместимыми с 2D, мы визуализируем панорамные изображения сцены и проецируем кандидатные 3D-элементы в эти виды, формируя богатое визуальное представление, согласованное с геометрией сцены. Наш конвейер CoT начинается с этапа активного восприятия, на котором MLLM предлагается выбрать наиболее информативную точку обзора на основе инструкции, прежде чем перейти к пошаговому рассуждению для локализации элементов аффорданса и вывода правдоподобных взаимодействий. При оценке на наборе данных SceneFun3D AffordBot демонстрирует наилучшую производительность, показывая высокую способность к обобщению и физически обоснованным рассуждениям, используя только облака 3D-точек и MLLM.

English

Effective human-agent collaboration in physical environments requires understanding not only what to act upon, but also where the actionable elements are and how to interact with them. Existing approaches often operate at the object level or disjointedly handle fine-grained affordance reasoning, lacking coherent, instruction-driven grounding and reasoning. In this work, we introduce a new task: Fine-grained 3D Embodied Reasoning, which requires an agent to predict, for each referenced affordance element in a 3D scene, a structured triplet comprising its spatial location, motion type, and motion axis, based on a task instruction. To solve this task, we propose AffordBot, a novel framework that integrates Multimodal Large Language Models (MLLMs) with a tailored chain-of-thought (CoT) reasoning paradigm. To bridge the gap between 3D input and 2D-compatible MLLMs, we render surround-view images of the scene and project 3D element candidates into these views, forming a rich visual representation aligned with the scene geometry. Our CoT pipeline begins with an active perception stage, prompting the MLLM to select the most informative viewpoint based on the instruction, before proceeding with step-by-step reasoning to localize affordance elements and infer plausible interaction motions. Evaluated on the SceneFun3D dataset, AffordBot achieves state-of-the-art performance, demonstrating strong generalization and physically grounded reasoning with only 3D point cloud input and MLLMs.