Воплощенное красное моделирование для аудита базовых робототехнических моделей

Embodied Red Teaming for Auditing Robotic Foundation Models

November 27, 2024

Авторы: Sathwik Karnik, Zhang-Wei Hong, Nishant Abhangi, Yen-Chen Lin, Tsun-Hsuan Wang, Christophe Dupuy, Rahul Gupta, Pulkit Agrawal

cs.AI

Аннотация

Модели роботов, зависящие от языка, имеют потенциал позволить роботам выполнять широкий спектр задач на основе естественноязыковых инструкций. Однако оценка их безопасности и эффективности остаётся сложной из-за трудностей в тестировании всех различных способов формулировки одной задачи. Текущие бенчмарки имеют два ключевых ограничения: они опираются на ограниченный набор инструкций, созданных людьми, упуская множество сложных случаев, и сосредотачиваются только на выполнении задач без оценки безопасности, такой как избегание повреждений. Для решения этих пробелов мы представляем метод оценки под названием Embodied Red Teaming (ERT), который генерирует разнообразные и сложные инструкции для тестирования этих моделей. ERT использует автоматизированные техники красной команды с использованием моделей Vision Language (VLM), чтобы создавать контекстуально обоснованные, сложные инструкции. Экспериментальные результаты показывают, что современные модели роботов, зависящие от языка, терпят неудачу или ведут себя небезопасно на инструкциях, сгенерированных ERT, подчёркивая недостатки текущих бенчмарков в оценке производительности и безопасности в реальном мире. Код и видео доступны по ссылке: https://s-karnik.github.io/embodied-red-team-project-page.

English

Language-conditioned robot models have the potential to enable robots to perform a wide range of tasks based on natural language instructions. However, assessing their safety and effectiveness remains challenging because it is difficult to test all the different ways a single task can be phrased. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art language-conditioned robot models fail or behave unsafely on ERT-generated instructions, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://s-karnik.github.io/embodied-red-team-project-page.