Equipe Vermelha Encarnada para Auditoria de Modelos Fundamentais de Robótica

Embodied Red Teaming for Auditing Robotic Foundation Models

November 27, 2024

Autores: Sathwik Karnik, Zhang-Wei Hong, Nishant Abhangi, Yen-Chen Lin, Tsun-Hsuan Wang, Christophe Dupuy, Rahul Gupta, Pulkit Agrawal

cs.AI

Resumo

Modelos de robô condicionados à linguagem têm o potencial de permitir que os robôs realizem uma ampla gama de tarefas com base em instruções em linguagem natural. No entanto, avaliar sua segurança e eficácia continua sendo desafiador, pois é difícil testar todas as diferentes maneiras como uma única tarefa pode ser formulada. Os benchmarks atuais têm duas limitações principais: eles dependem de um conjunto limitado de instruções geradas por humanos, deixando de fora muitos casos desafiadores, e focam apenas no desempenho da tarefa sem avaliar a segurança, como evitar danos. Para abordar essas lacunas, introduzimos o Embodied Red Teaming (ERT), um novo método de avaliação que gera instruções diversas e desafiadoras para testar esses modelos. O ERT utiliza técnicas automatizadas de red teaming com Modelos de Linguagem Visual (VLMs) para criar instruções contextualmente fundamentadas e difíceis. Os resultados experimentais mostram que os modelos de robô condicionados à linguagem de última geração falham ou se comportam de forma insegura em instruções geradas pelo ERT, destacando as deficiências dos benchmarks atuais na avaliação do desempenho e da segurança do mundo real. O código e os vídeos estão disponíveis em: https://s-karnik.github.io/embodied-red-team-project-page.

English

Language-conditioned robot models have the potential to enable robots to perform a wide range of tasks based on natural language instructions. However, assessing their safety and effectiveness remains challenging because it is difficult to test all the different ways a single task can be phrased. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art language-conditioned robot models fail or behave unsafely on ERT-generated instructions, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://s-karnik.github.io/embodied-red-team-project-page.