К созданию обоснованного социального рассуждения

Toward Grounded Social Reasoning

June 14, 2023

Авторы: Minae Kwon, Hengyuan Hu, Vivek Myers, Siddharth Karamcheti, Anca Dragan, Dorsa Sadigh

cs.AI

Аннотация

Рассмотрим робота, которому поручено навести порядок на столе с тщательно собранным спортивным автомобилем из Lego. Человек может понять, что разбирать автомобиль и убирать его в рамках "наведения порядка" социально неприемлемо. Как робот может прийти к такому выводу? Хотя крупные языковые модели (LLM) недавно стали использоваться для социального рассуждения, закрепление этого рассуждения в реальном мире остается сложной задачей. Чтобы рассуждать в реальном мире, роботы должны выйти за рамки пассивного запроса к LLM и *активно собирать информацию из окружающей среды*, необходимую для принятия правильного решения. Например, обнаружив, что на столе находится скрытый автомобиль, роботу может потребоваться активно воспринять его, чтобы определить, является ли это сложной моделью автомобиля из Lego или игрушечной машинкой, собранной ребенком. Мы предлагаем подход, который использует LLM и визуально-языковую модель (VLM), чтобы помочь роботу активно воспринимать окружающую среду для выполнения заземленного социального рассуждения. Для масштабной оценки нашего подхода мы публикуем набор данных MessySurfaces, содержащий изображения 70 реальных поверхностей, которые необходимо убрать. Дополнительно мы демонстрируем наш подход на роботе с использованием двух тщательно спроектированных поверхностей. Мы наблюдаем среднее улучшение на 12,9% на тестовом наборе MessySurfaces и среднее улучшение на 15% в экспериментах с роботом по сравнению с базовыми методами, не использующими активное восприятие. Набор данных, код и видео нашего подхода доступны по ссылке: https://minaek.github.io/groundedsocialreasoning.

English

Consider a robot tasked with tidying a desk with a meticulously constructed Lego sports car. A human may recognize that it is not socially appropriate to disassemble the sports car and put it away as part of the "tidying". How can a robot reach that conclusion? Although large language models (LLMs) have recently been used to enable social reasoning, grounding this reasoning in the real world has been challenging. To reason in the real world, robots must go beyond passively querying LLMs and *actively gather information from the environment* that is required to make the right decision. For instance, after detecting that there is an occluded car, the robot may need to actively perceive the car to know whether it is an advanced model car made out of Legos or a toy car built by a toddler. We propose an approach that leverages an LLM and vision language model (VLM) to help a robot actively perceive its environment to perform grounded social reasoning. To evaluate our framework at scale, we release the MessySurfaces dataset which contains images of 70 real-world surfaces that need to be cleaned. We additionally illustrate our approach with a robot on 2 carefully designed surfaces. We find an average 12.9% improvement on the MessySurfaces benchmark and an average 15% improvement on the robot experiments over baselines that do not use active perception. The dataset, code, and videos of our approach can be found at https://minaek.github.io/groundedsocialreasoning.